Thinking Machines julkaisee pienemmän tekoälymallin

Startup Thinking Machines, yhteisön rahoittama ja entisen OpenAI:n johtajan Mira Muratin tukema, on lanseerannut Inkling-Smallin, joka on uusin avoimen lähdekoodin tekoälymalli. Vain kaksi viikkoa edeltäjänsä Inklingin julkaisun jälkeen, Inkling-Small lupaa lähes saman suorituskyvyn huomattavasti pienemmässä paketissa, mahdollistaen merkittävät säästöt yrityksille laskentatehossa ja käyttökustannuksissa.

Malli, jossa on 276 miljardia parametria, on nyt arvioitu neljäsosakokoon verrattuna alkuperäiseen 975 miljardin parametrin Inklingiin. Sen suorituskyky on kuitenkin lähellä edeltäjäänsä, sijoittuen vain pisteen päähän kolmannen osapuolen Artificial Analysis Intelligence Index -vertailussa. Inkling-Small kykenee käsittelemään tekstiä, kuvaa ja ääntä, välittää tekstiä ja tukee jopa miljoonan tokenin syöteikkunaa. Tämä tekee siitä houkuttelevan vaihtoehdon yrityksille, jotka etsivät tehokasta tekoälyratkaisua rajoitetummilla laskentaresursseilla.

Inkling-Smallin arkkitehtuuri perustuu Mixture-of-Experts (MoE) -malliin, jossa 42 kerrosta ohjaa kunkin syötetokenin kuudelle erikoistuneelle asiantuntijalle ja kahdelle jaetulle asiantuntijalle. Tämä mahdollistaa sen, että vaikka mallin kokonaisparametrimäärä on 276 miljardia, aktiivisia parametreja käytetään vain 12 miljardia per token. Tämä tehokkuus vähentää merkittävästi mallin laskentavaatimuksia ja käyttökustannuksia ilman suurta kompromissia suorituskyvyssä.

Uusi malli on saatavilla täysien painojen kanssa Hugging Facessa, ja sen hienosäätöä tuetaan Tinker API:n kautta. Vaikka Inkling-Small ei ole kooltaan kannettaville tietokoneille sopiva, se on huomattavasti helpompi ottaa käyttöön kuin suurempi Inkling. Tämä tekee siitä ihanteellisen ratkaisun yrityksille, joilla on tietty määrä grafiikkaprosessointiyksiköitä (GPU), mutta ei ylimääräistä kapasiteettia. Yritykset voivat tasapainottaa laatua, latenssia ja kustannuksia muuttamalla laskentatehon tarvetta tehtävän vaikeuden mukaan.