Nya minneslösningar ökar AI-prestandan med 82 %
Forskare har presenterat V-Die och MOSAIC minneslösningar för att förbättra bandbredd och kylning hos AI-acceleratorer. V-Die uppnår 82,43 % högre dataflöde än HBM4.
Ett forskarlag har presenterat två nya minneslösningar, V-Die och MOSAIC, designade för att hantera utmaningar med värmeavledning och bandbredd hos AI-acceleratorer. Dessa lösningar syftar till att avsevärt förbättra prestandan hos AI-enheter.
V-Die-lösningens kärninnovation är vertikal placering av DRAM-kretsar istället för traditionell stapling. Denna metod minskar värmebelastningen som uppstår vid stapling. V-Die eliminerar TSV-strukturer (Through-Silicon Via) och använder istället I/O-anslutningar på kretsarnas nederkant. Kanaler för vätskekylning har integrerats mellan kretsarna.
Enligt studien uppnådde V-Die en genomströmning på 540 tokens per sekund i en GPT-3-skalig arbetsbelastning, vilket är 82,43 % mer än HBM4-minnets 296 tokens per sekund. Dessutom minskades minnesläsningstiden med 37 %, och simuleringar visade en 32 % minskning av fördröjningen för den första tokenen jämfört med H100-klassad hårdvara.
MOSAIC-lösningen, ledd av ett team från University of Tokyo, fokuserar på att förbättra tillverkningsbarheten för sidostaplade kretsar. Den använder ortogonal kretsstapling och kontaktlös kretskoppling, där mikroskopiska induktionsspolar ersätter metallkontakter. Lösningen har rapporterats möjliggöra upp till dubbla kapaciteten jämfört med HBM4 i DRAM-on-GPU-arkitekturer.