NVIDIA kooperiert mit d-Matrix für hybride KI-Compute-Infrastruktur

Der KI-Chip-Gigant NVIDIA geht eine Partnerschaft mit dem ASIC-Startup d-Matrix ein, um eine neuartige hybride Recheninfrastruktur für KI-Modelle zu entwickeln. Die Zusammenarbeit zielt darauf ab, Hardware beider Unternehmen zu integrieren und so eine effizientere Lösung zu schaffen.

d-Matrix gab bekannt, dass sein System Neocloud Parasail, das die NVIDIA Hopper- und Blackwell-GPUs mit den Corsair ASICs von d-Matrix kombiniert, eine zehnfache Steigerung der Token-Generierungsrate erzielt hat. Diese Leistungssteigerung deutet auf signifikante Fortschritte bei KI-Inferenzaufgaben hin.

Das Parasail-System nutzt NVIDIA GPUs für die rechenintensiven Vorfüllaufgaben am Frontend von KI-Inferenz-Workloads. Gleichzeitig sind die Corsair-Chips von d-Matrix mit ihrer Digital-In-Memory-Computing (D-IMC)-Architektur und reichlich SRAM-Speicher gut für die latenzempfindlichen Dekodierungsaufgaben am Backend der Inferenz geeignet.

Sid Sheth, Gründer und CEO von d-Matrix, erklärte, dass Parasail ihre ursprüngliche Überzeugung von einer heterogenen Zukunft für die Inferenz bestätigt. Er betonte, dass GPUs und dedizierte Inferenzbeschleuniger komplementär und nicht konkurrierend seien und der Ansatz von Parasail jede Stufe des Workloads optimiere.