Neue Speicherlösungen steigern KI-Leistung um 82 %
Forscher haben V-Die und MOSAIC Speicherintegrationsschemata vorgestellt, um Wärmeableitung und Bandbreitenengpässe bei KI-Beschleunigern zu beheben. V-Die demonstriert eine Leistungssteigerung von 82,43 % gegenüber HBM4.
Ein Forschungsteam hat zwei neuartige Speicherintegrationslösungen, V-Die und MOSAIC, vorgestellt, die darauf abzielen, die Einschränkungen bei Wärmeableitung und Bandbreite von KI-Beschleunigern zu bewältigen. Diese Ansätze sollen die Leistung von künstlicher Intelligenz-Hardware erheblich verbessern.
Die Kerninnovation der V-Die-Lösung besteht darin, DRAM-Chips vertikal statt in der traditionellen gestapelten Konfiguration zu platzieren, wodurch die thermische Belastung reduziert wird. Sie eliminiert Through-Silicon Via (TSV)-Strukturen und setzt stattdessen auf I/O-Verbindungen am unteren Rand jedes Chips. Zwischen benachbarten Chips sind Flüssigkeitskühlkanäle integriert.
Laut der Studie erreichte V-Die in einer GPT-3-Skalen-Arbeitslast einen Durchsatz von 540 Tokens pro Sekunde, eine Verbesserung von 82,43 % gegenüber den 296 Tokens pro Sekunde von HBM4. Darüber hinaus reduzierte sich die Latenz beim Speicherauslesen um 37 %, und Simulationen zeigten eine Reduzierung der Latenz des ersten Tokens um 32 % im Vergleich zu Hardware der H100-Klasse.
Die MOSAIC-Lösung, angeführt von einem Team der Universität Tokio, konzentriert sich auf die Verbesserung der Herstellbarkeit von seitlich gestapelten Chips. Sie verwendet orthogonales Die-Stacking und kontaktlose Die-Interconnects, wobei mikroskopische Induktionsspulen anstelle präziser Metallkontakte eingesetzt werden. Diese Lösung ermöglicht Berichten zufolge eine Verdoppelung der Kapazität von HBM4 in DRAM-on-GPU-Konfigurationen.