NVIDIA och d-Matrix samarbetar kring AI-infrastruktur
AI-chiptillverkaren NVIDIA samarbetar med ASIC-startupen d-Matrix för att utveckla en hybrid beräkningsinfrastruktur för AI-modeller. Systemet kombinerar NVIDIA:s GPU:er med d-Matrix:s ASIC:er för förbättrad prestanda.
AI-chipjätten NVIDIA inleder ett samarbete med ASIC-startupen d-Matrix för att skapa en ny typ av hybrid beräkningsinfrastruktur för AI-modeller. Syftet med samarbetet är att kombinera hårdvaran från båda företagen för att uppnå en mer effektiv lösning.
Enligt d-Matrix har deras Neocloud Parasail-system, som kombinerar NVIDIA:s Hopper- och Blackwell-GPU:er med d-Matrix:s Corsair ASIC-kretsar, uppnått en tiofaldig ökning av token-genereringshastigheten (ordgenerering). Denna prestandaförbättring indikerar betydande framsteg inom AI-inferensuppgifter.
Parasail utnyttjar NVIDIA:s GPU:er för de beräkningsintensiva förbehandlingsuppgifterna i AI-inferensarbetet. Samtidigt är d-Matrix:s Corsair-kretsar, med sin stora mängd SRAM-minne och in-memory computing (D-IMC)-arkitektur, väl lämpade för de latenskänsliga avkodningsoperationerna i slutet av inferensprocessen.
Sid Sheth, grundare och VD för d-Matrix, sade att samarbetet bekräftar deras övertygelse att framtiden för AI-inferens är heterogen. Han betonade att GPU:er och specialiserade acceleratorer inte konkurrerar utan kompletterar varandra, och att Parasail-metoden optimerar varje steg i arbetsflödet.