A Gimlet Labs 3-10-ször gyorsítja az AI inferenciát új szoftverével
A Gimlet Labs 3-10-ször gyorsítja az AI inferenciát, a cégnek már 8 számjegyű bevételt sikerült elérnie
Gimlet Labs, a Stanford‑affiliated startup, tette be az AI inferenciát 3‑10‑ször gyorsabbá azzal, hogy megalkotta az első „multi‑silicon inference cloud” szoftvert. A cég 80 millió dolláros Series A finanszírozást kapott a Menlo Ventures vezetésével, és azóta a teljes tőkebefektetés 92 millió dollárra nőtt, többek között Sequoia és Intel CEO Tan támogatásával. A Gimlet Labs 30 főből álló csapata a legnagyobb AI modellekhez és adatközpontokhoz nyújtja megoldását, nem pedig a kis fejlesztőkhöz.
Az új szoftver képes egyetlen AI alkalmazás munkafolyamatát egyidejűleg elosztani CPU-k, AI‑tuning GPU-k és nagy memóriás rendszerek között. Az ilyen „multi‑silicon” megközelítés azt jelenti, hogy a legjobb chipet használhatják a modell egyes részein: a számításigényes inferenciához GPU, a memóriaigényes dekódoláshoz nagy memóriás szerver, a hálózati hívásokhoz pedig a leggyorsabb hálózati interfészek. A Gimlet Labs szerint ez a megoldás akár 10‑szoros hatékonyságnövelést tesz lehetővé ugyanazon költség- és teljesítménykörnyezet mellett.
A cég már partnerségeket kötött NVIDIA, AMD, Intel, ARM, Cerebras és d‑Matrix chipgyártókkal, és a terméket akár API‑ként, akár saját Gimlet Cloud-on keresztül kínálja. Az első bemutató óta a vásárlói bázis több mint megduplázódott, és már egy nagy modellkészítő, valamint egy hatalmas felhőszolgáltató is a listán szerepel, bár a nevek nem kerültek nyilvánosságra.
Az AI inferencia szűk keresztmetszetét a Gimlet Labs célja, hogy a jelenleg 15–30 % –ban kihasznált hardvert teljesen kihasználják. A McKinsey 2030‑es becslése szerint a datacenter kiadások 7 trillió dollárra emelkednek, és a Gimlet megoldása szerint ez a potenciális lógó erőforrás‑takarékosság hatalmas megtakarítást jelenthet.
A következő lépések között szerepel a termék további skálázása a legújabb chipekkel való együttműködésben, valamint a nagy AI laborok és adatközpontok számára történő bevezetésének felgyorsítása. A cég a következő évben tervez több új partnerkapcsolatot, miközben a meglévő ügyfelek számát tovább növeli.