AWS SageMaker nopeuttaa suurten kielimallien skaalausta

Amazon Web Services (AWS) on lanseerannut uuden Fast Model Loader -ominaisuuden Amazon SageMaker Inference -palveluunsa. Tämän teknologian kerrotaan nopeuttavan merkittävästi suurten kielimallien (LLM) lataamista ja skaalautumista päättelykäytössä.

Mallien koon kasvaessa jopa satoihin miljardeihin parametreihin ja muistin tarpeen noustessa satoihin gigatavuihin, mallien lataaminen kiihdyttimille on muodostunut pullonkaulaksi. Tämä on vaikeuttanut LLM-mallien tehokasta käyttöönottoa ja skaalaamista nopeasti muuttuvissa liikennemalleissa.

Fast Model Loaderin kerrotaan vähentävän mallien latausaikaa suoratoistamalla mallipainot suoraan Amazon Simple Storage Service (S3) -palvelusta kiihdyttimille. AWS raportoi jopa 19 prosentin vähennyksen viiveessä, kun uusi mallikopio ladataan uudelle instanssille päättelyä varten.

Uusi ominaisuus on osa SageMaker Large Model Inference (LMI) -pakettia, jonka tarkoituksena on auttaa asiakkaita nopeuttamaan LLM-mallien käyttöönottoa SageMaker Inference -ympäristössä. AWS esitteli teknologiaa AWS re:Invent 2024 -tapahtumassa.