Nvidia stellt neuen Hochbandbreiten-Speicher für KI-Beschleuniger vor
Nvidia bringt NVHBM auf den Markt, eine maßgeschneiderte Speicherlösung, die eine verbesserte Leistung und Energieeffizienz für KI-Beschleuniger verspricht. Amazon Annapurna Labs ist erster Partner.
Nvidia hat NVHBM vorgestellt, einen neuen, angepassten Hochbandbreiten-Speicher (HBM) für seine Partner im Bereich KI-Beschleuniger. Diese neue Speicherkomponente zielt darauf ab, sowohl die Leistung als auch die Energieeffizienz für künstliche Intelligenz-Workloads zu verbessern.
Das Unternehmen gibt an, dass NVHBM im Vergleich zu Standard-HBM4e-Speicher eine bis zu 30 % höhere Bandbreite und einen 15 % geringeren Stromverbrauch bietet. Diese Verbesserung ist entscheidend für speicherbandbreitenintensive KI-Aufgaben und kann den Durchsatz in Anwendungen wie KI-Inferenz erhöhen. Darüber hinaus reduziert das Design von NVHBM den Silizium-Footprint auf dem Hauptchip des Beschleunigers, wodurch Platz für schätzungsweise 30 % mehr Rechenressourcen geschaffen wird.
NVHBM wird in Nvidias NVLink Fusion-Projekt integriert, das durch die Verbindung mehrerer Prozessoren die Erstellung vereinheitlichter Computersysteme ermöglicht. Nvidia gibt an, dass NVHBM gemeinsam mit führenden Speicherherstellern entwickelt und validiert wurde, um die Produktentwicklung für Partner, die benutzerdefinierte Chips entwickeln, zu beschleunigen.
Amazon Annapurna Labs wurde als erster Partner für die Einführung von NVHBM bekannt gegeben. Das Unternehmen beabsichtigt, diese Technologie in seinen zukünftigen KI-Chips für die AWS-Infrastruktur einzusetzen, einschließlich des kommenden Trainium 4-Chips.