Liquid AI julkistaa kielimallin Raspberry Pi -laitteille

Tekoäly-startup Liquid AI, jonka perustivat vuonna 2023 entiset MIT:n tutkijat, on julkistanut LFM2.5-2.6B-nimisen avoimen kielimallin. Malli on suunniteltu erityisesti agenttityökuormille ja se pystyy toimimaan kokonaan paikallisesti ilman pilviyhteyttä tai grafiikkasuorittimia.

Laitteissa, kuten älypuhelimissa, kannettavissa tietokoneissa ja jopa Raspberry Pi -minitietokoneissa, toimiva malli avaa uusia mahdollisuuksia reunalaskentaan. Se sopii erityisesti säännellyillä aloilla toimiville yrityksille tai niille, jotka käsittelevät arkaluonteista tietoa eivätkä halua siirtää sitä pilveen.

Malli soveltuu parhaiten suuren volyymin, selkeästi määriteltyihin agenttitehtäviin, kuten työkalukutsuihin, dokumenttien hallintaan, kalenteri- ja työnkulkujen automaatioon sekä jatkuvasti taustalla toimiviin rutiineihin. Se soveltuu myös ympäristöihin, joissa verkkoyhteys on rajallinen, kuten ajoneuvoihin ja robotiikkaan.

Liquid AI tarjoaa LFM2.5-2.6B-mallin ja sen perusversion (LFM2.5-2.6B-Base) latauspalvelu Hugging Facesta. Malli tukee yleisiä päättelypinoja, kuten llama.cpp ja ONNX, mahdollistaen käyttöönoton kuluttajalaitteissa, yritysinfrastruktuurissa ja sulautetuissa järjestelmissä. Yritys on myös julkaissut avoimen lähdekoodin hienosäätökehyksen nimeltä LEAP.