NVIDIA s'associe à d-Matrix pour une infrastructure de calcul IA hybride

Le géant des puces IA NVIDIA s'est associé à la startup ASIC d-Matrix pour développer un nouveau type d'infrastructure de calcul hybride destinée à supporter les modèles d'intelligence artificielle. Cette collaboration vise à intégrer le matériel des deux entreprises afin de créer une solution plus efficace.

d-Matrix a annoncé que son système Neocloud Parasail, qui associe les GPU Hopper et Blackwell de NVIDIA aux ASIC Corsair de d-Matrix, a atteint une multiplication par dix du taux de génération de tokens. Cette amélioration des performances suggère des avancées significatives dans les tâches d'inférence de l'IA.

Le système Parasail utilise les GPU NVIDIA pour les tâches de pré-remplissage, gourmandes en calcul, situées en front-end des flux de travail d'inférence IA. Parallèlement, les puces Corsair de d-Matrix, dotées d'une architecture de calcul en mémoire (D-IMC) et d'une grande quantité de SRAM, sont bien adaptées aux tâches de décodage, sensibles à la latence, situées en back-end de l'inférence.

Sid Sheth, fondateur et PDG de d-Matrix, a déclaré que Parasail valide leur conviction initiale d'un avenir hétérogène pour l'inférence. Il a souligné que les GPU et les accélérateurs d'inférence dédiés sont complémentaires plutôt que concurrents, et que l'approche de Parasail optimise chaque étape du flux de travail.