PrismML bringt seine kleinen LLMs auf Qualcomm-gestützte Smart Glasses

Das KI-Startup PrismML hat eine Version seiner kleinen Sprachmodelle (LLM) vorgestellt, die speziell für den Einsatz auf Smart Glasses mit Qualcomms Snapdragon-Chips entwickelt wurde. Das Unternehmen präsentierte die Technologie auf dem Snapdragon Summit von Qualcomm.

Das 1-Bit-Bonsai-LLM von PrismML kann lokal auf Smart Glasses ausgeführt werden, die auf der Snapdragon AR1 Gen 1-Plattform basieren. Das übergeordnete Ziel des Startups ist die Entwicklung von KI mit offenem Gewicht, die auf Geräten läuft und deren vorhandene Rechenleistung nutzt. Dieser Ansatz wird als Alternative zu Cloud-basierten KI-Diensten positioniert und adressiert Datenschutzbedenken sowie hohe Rechenanforderungen.

Das Kernstück von PrismMLs Technologie ist die signifikante Reduzierung der Größe großer Sprachmodelle bei nahezu vollständiger Beibehaltung ihrer Leistung in Standard-Benchmarks. Die für Smart Glasses angepasste Version ist ein Modell mit 2 Milliarden Parametern, das für visuelle und sprachliche Aufgaben optimiert ist. Dies ermöglicht es den Nutzern, Echtzeitfragen zu dem zu stellen, was sie sehen.

Obwohl PrismML sein Modell nun auf Qualcomms Chips zum Laufen gebracht hat, hat bisher kein Hersteller von Smart Glasses ein Produkt angekündigt, das PrismMLs Technologie nutzt. Die Vision des Unternehmens konzentriert sich auf die Entwicklung verteilterer und geräteinterner KI-Funktionen.