AMD und Cerebras kooperieren bei KI-Inferenz mit geringer Latenz
AMD und Cerebras bündeln ihre Kräfte zur Entwicklung von KI-Inferenzlösungen mit extrem niedriger Latenz. Ziel ist eine deutliche Steigerung von Leistung und Effizienz für anspruchsvolle KI-Aufgaben.
Der Halbleiterhersteller AMD und das KI-Unternehmen Cerebras haben eine gemeinsame Entwicklung für Lösungen zur künstlichen Intelligenz (KI) Inferenz angekündigt. Diese Zusammenarbeit konzentriert sich insbesondere auf Anwendungsfälle, die eine extrem niedrige Latenz erfordern.
Die neue Lösung wird AMDs Helios-System für Rack-Systeme mit Cerebras' Wafer-Scale Engine integrieren. Diese Initiative zielt darauf ab, mit bestehenden integrierten Lösungen auf dem Markt, wie denen von Nvidia und Groq, zu konkurrieren.
Gemäß den Angaben der Unternehmen wird AMDs Helios-System als hochleistungsfähige und skalierbare Durchsatzmaschine fungieren, die die Verarbeitung von Prompts und großen Kontextfenstern übernimmt. Cerebras' Wafer-Scale Engine ist für die speicherbandbreitenintensiven Phasen der Token-Generierung und -Dekodierung konzipiert und betont seine Fähigkeiten zur Minimierung der Latenz.
Bei der Verwendung von zwei Rechenmodulen wird die kombinierte Lösung voraussichtlich eine fünffache Steigerung der pro Sekunde und Watt verarbeiteten Tokens ergeben. Cerebras hebt die Architektur seiner Wafer-Scale Engine hervor, die hunderttausende von Rechenkernen und dutzende Gigabyte SRAM auf einem einzigen Wafer vereint, um Kommunikationsengpässe zu reduzieren.