Liquid AI lanserar språkmodell för Raspberry Pi

AI-startupen Liquid AI, grundad 2023 av före detta MIT-forskare, har presenterat LFM2.5-2.6B, en ny öppen språkmodell designad för agenter. Modellen kan köras helt lokalt på enheter som smartphones, laptops och till och med Raspberry Pi, utan att förlita sig på molnberäkningar eller GPU:er.

Detta möjliggör edge AI-applikationer och erbjuder fler alternativ för företag som verkar inom reglerade branscher eller hanterar känslig information som inte ska skickas till molnet. Modellen är särskilt lämpad för högvolyms-, väldefinierade agenteruppgifter som verktygsanrop, dokumenthantering, kalender- och arbetsflödesautomation, samt för uppkopplingsbegränsade miljöer som fordon och robotik.

Liquid AI tillhandahåller LFM2.5-2.6B och dess basversion (LFM2.5-2.6B-Base) via Hugging Face. Modellen stöder stora inferensstackar som llama.cpp och ONNX, vilket underlättar driftsättning på konsumenthårdvara, företagsinfrastruktur och inbyggda system. Företaget har även lanserat ett open source-ramverk för finjustering kallat LEAP.

Istället för att konkurrera med de största frontlinjemodellerna argumenterar Liquid AI för att en tillräckligt kapabel liten modell kan låsa upp nya kategorier av företagstillämpningar där latens, integritet, flexibilitet eller driftskostnader är viktigare än absolut prestanda.