Neue Amazon SageMaker-Funktionen senken Kosten für Modellbereitstellung

Amazon Web Services (AWS) hat neue Funktionen für seinen cloudbasierten maschinellen Lernservice Amazon SageMaker veröffentlicht. Die Aktualisierungen sollen Unternehmen dabei helfen, die Kosten und Latenzzeiten bei der Bereitstellung großer Sprachmodelle und anderer Foundation Models (FMs) erheblich zu senken.

Unternehmen stehen oft vor der Herausforderung, die Leistung von FMs auf den neuesten Beschleunigern wie AWS Inferentia und GPUs zu optimieren. Eine ineffiziente Hardware-Nutzung tritt auf, wenn Modelle ihre zugewiesenen Ressourcen nicht vollständig auslasten. Einige Organisationen haben versucht, dies durch die Bereitstellung mehrerer Modelle auf einer einzigen Instanz zu verbessern, was jedoch eine komplexe und schwer zu verwaltende Infrastruktur-Orchestrierung erfordert.

Die neuen SageMaker-Funktionen ermöglichen die Erstellung von Endpunkten, die auf Inferenzkomponenten basieren. Jede Inferenzkomponente abstrahiert ein maschinelles Lernmodell und erlaubt die spezifische Zuweisung von Ressourcen wie CPUs, GPUs oder AWS Neuron-Beschleunigern. Diese architektonische Verbesserung steigert die Ressourcennutzung und reduziert den Bedarf an überdimensionierter Hardware, was zu berichteten durchschnittlichen Kosteneinsparungen von 50 % bei Modellbereitstellungen führt.

Darüber hinaus hilft die verbesserte Architektur, Latenzprobleme zu mindern, die durch variable Inferenzzeiten und schwankende Arbeitslasten verursacht werden. Durch die effizientere Verwaltung der Modellinferenz zielt der Dienst darauf ab, ein reibungsloseres und vorhersagbareres Endbenutzererlebnis zu bieten. AWS gibt an, dass diese neuen Fähigkeiten zu einer durchschnittlichen Reduzierung der Bereitstellungskosten für Foundation Models um 50 % führen können.