Thinking Machines stellt kleineres KI-Modell vor
Thinking Machines hat Inkling-Small veröffentlicht, ein Open-Source-KI-Modell, das die Leistung seines größeren Vorgängers bei einem Bruchteil der Größe erreicht. Das Modell bietet erhebliche Vorteile in Bezug auf Rechenleistung und Kosten für Unternehmen.
Das Startup Thinking Machines, unterstützt durch Finanzierung und unter der Leitung der ehemaligen OpenAI-CTO Mira Murati, hat Inkling-Small auf den Markt gebracht, sein neuestes Open-Source-KI-Modell. Nur zwei Wochen nach der Veröffentlichung seines Vorgängers, Inkling, verspricht Inkling-Small eine nahezu gleichwertige Leistung bei etwa einem Viertel der Größe, was erhebliche Vorteile bei der Berechnungseffizienz und den Kosten für Unternehmen bietet.
Das neue Modell mit 276 Milliarden Parametern, das unter einer Apache 2.0-Lizenz veröffentlicht wurde, erzielt Leistungskennzahlen, die dem ursprünglichen Inkling mit 975 Milliarden Parametern nahe kommen. Im Artificial Intelligence Analysis Index liegt es nur einen Punkt hinter seinem größeren Geschwistermodell. Inkling-Small kann Text-, Bild- und Audioeingaben verarbeiten und Textausgaben erzeugen. Es unterstützt ein Kontextfenster von bis zu einer Million Tokens und ist somit eine wettbewerbsfähige Option für Organisationen mit stärker eingeschränkten Rechenressourcen.
Inkling-Small verwendet eine Mixture-of-Experts (MoE)-Architektur. Dieses Design ermöglicht es dem Modell, von seinen insgesamt 276 Milliarden Parametern nur 12 Milliarden aktive Parameter pro Token zu nutzen. Diese Effizienz reduziert die Rechenanforderungen und Inferenzkosten erheblich, während ein Großteil der Kodierungs-, Argumentations- und multimodalen Fähigkeiten des größeren Modells erhalten bleibt.
Das Modell ist mit vollständigen Gewichten auf Hugging Face verfügbar, mit Unterstützung für Feinabstimmung über seine Tinker API. Obwohl Inkling-Small nicht für Laptops geeignet ist, ist es deutlich einfacher zu implementieren als das ursprüngliche Inkling. Dies macht es zu einer praktischen Wahl für Unternehmen, die über einige GPU-Kapazitäten verfügen. Benutzer können den Rechenaufwand anpassen, um Qualität, Latenz und Kosten basierend auf der Schwierigkeit der Aufgabe auszugleichen.