Amazon SageMakers nya funktioner minskar kostnader för modellinförande

Amazon Web Services (AWS) har introducerat nya funktioner i sin molnbaserade maskininlärningstjänst Amazon SageMaker. Dessa uppdateringar är utformade för att hjälpa företag att avsevärt sänka kostnaderna och svarstiderna associerade med driftsättning av stora modeller (FM).

Organisationer kämpar ofta med att optimera prestandan för stora modeller på den senaste hårdvaran, såsom AWS Inferentia och GPU-acceleratorer. Vissa modeller utnyttjar inte den tillgängliga hårdvaran fullt ut, vilket leder till ineffektiv resursanvändning. Som en lösning har vissa företag distribuerat flera FM:er på samma instans för att förbättra utnyttjandet, men detta kräver komplex och tidskrävande infrastrukturorkestrering.

De nya funktionerna i SageMaker möjliggör skapandet av slutpunkter baserade på inferenskomponenter. Varje inferenskomponent abstraherar en maskininlärningsmodell och tillåter tilldelning av specifika resurser som CPU, GPU eller AWS Neuron-acceleratorer. Denna arkitektur förbättrar resursutnyttjandet och minskar behovet av överprovisionerad hårdvara, vilket leder till genomsnittliga kostnadsbesparingar på 50 % för modellinförande.

Det förbättrade arkitekturstödet bidrar också till att mildra latensproblem orsakade av varierande inferenstider och belastningsfluktuationer. Genom att hantera modellinferens mer effektivt kan en jämnare och mer förutsägbar användarupplevelse uppnås. AWS nämner att nya kunder kan förvänta sig en genomsnittlig minskning på 50 % i kostnader för driftsättning av stora modeller.