Nvidia présente une mémoire personnalisée à haute bande passante pour accélérateurs IA
Nvidia lance le NVHBM, une solution mémoire personnalisée promettant des performances et une efficacité énergétique améliorées pour les accélérateurs d'IA. Amazon Annapurna Labs est le premier partenaire.
Nvidia a dévoilé le NVHBM, une nouvelle mémoire personnalisée à haute bande passante (HBM) conçue spécifiquement pour ses partenaires dans le domaine des accélérateurs d'intelligence artificielle. Ce nouveau composant mémoire vise à améliorer à la fois les performances et l'efficacité énergétique pour les charges de travail d'IA.
L'entreprise affirme que le NVHBM offre une bande passante jusqu'à 30 % supérieure et une consommation d'énergie 15 % inférieure par rapport à la mémoire HBM4e standard. Cette amélioration est cruciale pour les tâches d'IA limitées par la bande passante mémoire, augmentant potentiellement le débit dans des applications telles que l'inférence IA. De plus, la conception du NVHBM réduit l'empreinte du silicium sur la puce d'accélération principale, libérant ainsi de l'espace pour environ 30 % de ressources de calcul supplémentaires.
Le NVHBM est intégré dans le projet NVLink Fusion de Nvidia, qui permet la création de systèmes informatiques unifiés en connectant plusieurs processeurs. Nvidia déclare que le NVHBM a été co-conçu et validé avec des fabricants de mémoire de premier plan, dans le but d'accélérer le développement de produits pour les partenaires créant des puces personnalisées.
Amazon Annapurna Labs a été annoncé comme le premier partenaire à adopter le NVHBM. L'entreprise a l'intention d'utiliser cette technologie dans ses futures puces d'IA pour l'infrastructure AWS, y compris la future puce Trainium 4.