Acrab lanserar GΞLIX 1 kant-AI-chip
Startupen Acrab har lanserat GΞLIX 1 System-on-Chip (SoC), avsedd för kant-AI-enheter. Chippet stöder lokal körning av modeller med upp till 100 miljarder parametrar.
Startupföretaget Acrab presenterade igår GΞLIX 1 System-on-Chip (SoC), designad för AI-enheter i kanten av nätverket. Detta chip, tillverkat med en 5-nanometers process, möjliggör lokal körning av artificiell intelligens-modeller med upp till 100 miljarder parametrar, vilket representerar en betydande ökning av beräkningskraften i slutenheter.
GΞLIX 1 använder en heterogen design som inkluderar en 20-kärnig Arm CPU, en 3TFLOPS GPU och en NPU med en AI-prestanda på 650TOPS. Chippet har ett 8MB L1-cache och snabbt LPDDR5X-minne. Acrab hävdar att chippet kan accelerera AI-modellernas prestanda genom optimeringar.
En av de mest framstående prestandapåståendena är GΞLIX 1:s förmåga att uppnå en förfyllningshastighet på 1416,8 Token/s med Gemma 26B-modellen. Enligt Acrab är detta 7,5 gånger snabbare än Apple M4 Pro Mac Mini, vilket understryker chippets potential i krävande AI-tillämpningar.
Utöver själva chippet erbjuder Acrab en omfattande programvarustack och en referensdesign för agenter, samt deras första egenutvecklade enhet, Agent Box, baserad på GΞLIX 1. Detta heltäckande tillvägagångssätt syftar till att påskynda införandet av AI-teknik i olika slutenheter.