Thinking Machines lanserar mindre AI-modell

Startupen Thinking Machines, som stöds av investerare och leds av tidigare OpenAI-chef Mira Murati, har lanserat Inkling-Small, deras senaste open source AI-modell. Bara två veckor efter lanseringen av dess föregångare, Inkling, lovar Inkling-Small nästan samma prestanda i ett betydligt mindre format, vilket möjliggör betydande besparingar för företag när det gäller beräkningskraft och driftskostnader.

Modellen, med 276 miljarder parametrar, är nu en fjärdedel av storleken jämfört med den ursprungliga Inkling med 975 miljarder parametrar. Dess prestanda ligger dock nära föregångarens, endast en poäng bakom i den tredjeparts Artificial Analysis Intelligence Index. Inkling-Small kan bearbeta text, bild och ljud, generera text och stöder ett kontextfönster på upp till en miljon tokens. Detta gör den till ett attraktivt alternativ för företag som söker en effektiv AI-lösning med mer begränsade beräkningsresurser.

Inkling-Smalls arkitektur bygger på en Mixture-of-Experts (MoE)-modell, där 42 lager dirigerar varje input-token till sex specialiserade experter och två delade experter. Detta möjliggör att även om modellens totala antal parametrar är 276 miljarder, används endast 12 miljarder aktiva parametrar per token. Denna effektivitet minskar modellens beräkningskrav och driftskostnader avsevärt utan stor kompromiss i prestanda.

Den nya modellen är tillgänglig med fullständiga vikter på Hugging Face, och finjusteringsstöd tillhandahålls via Tinker API. Även om Inkling-Small inte är tillräckligt liten för att köras på bärbara datorer, är den betydligt enklare att implementera än den större Inkling. Detta gör den till en idealisk lösning för företag som har en viss mängd grafikkort (GPU) men inte överdriven kapacitet. Företag kan balansera kvalitet, latens och kostnader genom att justera beräkningsbehovet beroende på uppgiftens svårighetsgrad.