Nouvelles solutions mémoire augmentent le débit de l'IA de 82 %
Des chercheurs ont introduit les schémas d'intégration mémoire V-Die et MOSAIC pour résoudre les problèmes de dissipation thermique et de bande passante des accélérateurs IA. V-Die montre une augmentation de performance de 82,43 % par rapport au HBM4.
Une équipe de recherche a dévoilé deux nouvelles solutions d'intégration mémoire, V-Die et MOSAIC, conçues pour relever les défis de dissipation thermique et de bande passante des accélérateurs d'intelligence artificielle. Ces approches visent à améliorer considérablement les performances du matériel d'IA.
L'innovation principale de la solution V-Die réside dans le placement vertical des puces DRAM, contrairement à la configuration empilée traditionnelle, réduisant ainsi le stress thermique. Elle élimine les structures TSV (Through-Silicon Via) au profit de connexions E/S sur le bord inférieur de chaque puce. Des canaux de refroidissement liquide sont intégrés entre les puces adjacentes.
Selon l'étude, V-Die a atteint un débit de 540 tokens par seconde dans une charge de travail à l'échelle GPT-3, soit une augmentation de 82,43 % par rapport aux 296 tokens par seconde du HBM4. De plus, la latence de lecture mémoire a diminué de 37 %, et les simulations ont indiqué une réduction de 32 % de la latence du premier token par rapport au matériel de classe H100.
La solution MOSAIC, dirigée par une équipe de l'Université de Tokyo, se concentre sur l'amélioration de la fabricabilité des puces empilées latéralement. Elle utilise un empilement orthogonal de puces et des interconnexions sans contact, employant des bobines d'induction microscopiques à la place de contacts métalliques précis. Cette solution permettrait de doubler la capacité du HBM4 dans les configurations DRAM-on-GPU.