AMD och Cerebras samarbetar för AI-inferens med låg fördröjning
AMD och Cerebras går samman för att utveckla AI-inferenslösningar med låg fördröjning. Samarbetet syftar till att förbättra prestanda och effektivitet avsevärt, särskilt i applikationer som kräver snabb respons.
Den amerikanska halvledarjätten AMD och teknikbolaget Cerebras har inlett ett samarbete för att utveckla nya lösningar för artificiell intelligens (AI) inferens. Fokuset ligger på applikationer som kräver extremt låg fördröjning.
Den nya lösningen kommer att integrera AMD:s Helios-racklösning med Cerebras' kiselplatenhet (Wafer-Scale Engine). Syftet är att möta utmaningarna från konkurrenter som Nvidia och Groq.
AMD:s Helios-system förväntas hantera högpresterande och skalbar genomströmning, med fokus på prompt-hantering och stora kontextfönster. Cerebras' Wafer-Scale Engine kommer att ansvara för token-generering och avkodning, vilket kräver hög minnesbandbredd och minimerad fördröjning.
Enligt de inblandade parterna kan den kombinerade lösningen, med två beräkningsmotorer, leda till en femfaldig ökning av token-produktion per sekund per watt. Cerebras beskriver sin teknik som en enda, stor kiselplatta med hundratusentals beräkningskärnor och tiotals gigabyte SRAM, designad för att minska flaskhalsar i datakommunikationen.