Acrab stellt GΞLIX 1 Edge-KI-Chip vor

Das Startup-Unternehmen Acrab hat gestern offiziell den GΞLIX 1 System-on-Chip (SoC) vorgestellt, sein erstes Produkt für KI-Edge-Geräte. Der auf einem 5-Nanometer-Prozess basierende Chip ist für die lokale Ausführung von Modellen mit bis zu 100 Milliarden Parametern konzipiert, was eine deutliche Steigerung der Rechenleistung auf Endgeräten darstellt.

Der GΞLIX 1 verfügt über eine heterogene Architektur mit einer 20-kernigen Arm CPU, einer 3TFLOPS GPU und einer NPU, die eine KI-Rechenleistung von 650TOPS liefert. Er verfügt über einen 8MB L1-Cache und einen schnellen LPDDR5X-Speicher.

Acrab gibt an, dass der Chip durch Vektorhardware-Beschleunigung des Aufmerksamkeitsmechanismus und Optimierungen die Latenzzeit für das erste Token reduziert. In einer Gemma 26B A4B-Konfiguration mit einem 40k KV-Cache und 10k Token-Eingabe erreicht der GΞLIX 1 angeblich eine Vorfüllrate von 1416,8 Token pro Sekunde, was laut Acrab 7,5-mal schneller ist als ein Apple M4 Pro Mac Mini.

Zusätzlich zum Chip bietet Acrab einen umfassenden Software-Stack und ein Agenten-Referenzdesign an. Das Unternehmen hat auch sein erstes eigenes Endgerät, die Agent Box, auf Basis des GΞLIX 1 entwickelt. Dieser integrierte Ansatz zielt darauf ab, die Einführung von KI-Funktionen auf Edge-Geräten zu vereinfachen und zu beschleunigen.