Amazon SageMakerin uudet ominaisuudet laskevat mallien käyttöönoton kustannuksia

Amazon Web Services (AWS) on julkaissut uusia ominaisuuksia pilvipohjaiseen koneoppimispalveluunsa Amazon SageMakeriin. Uudistusten tavoitteena on auttaa yrityksiä pienentämään merkittävästi suurten kielimallien (FM) käyttöönottoon liittyviä kustannuksia ja lyhentämään vasteaikoja.

Yritykset kohtaavat usein haasteita, kun ne yrittävät optimoida suurten mallien suorituskykyä uusimmilla prosessointilaitteilla, kuten AWS Inferentia- ja GPU-kiihdyttimillä. Joskus mallit eivät hyödynnä niille varattuja kiihdyttimiä täysimääräisesti, mikä johtaa tehottomaan resurssien käyttöön. Jotkin organisaatiot ovat pyrkineet parantamaan laitteiston käyttöä yhdistämällä useita malleja samalle palvelimelle, mutta tämä vaatii monimutkaista ja vaikeasti hallittavaa infrastruktuurin orkestrointia.

Uudet SageMakerin ominaisuudet mahdollistavat päätepisteiden luomisen erillisten päättelykomponenttien avulla. Nämä komponentit abstrahoivat koneoppimismallin ja sallivat resurssien, kuten suorittimien, näytönohjainten tai AWS Neuron -kiihdyttimien, kohdentamisen kullekin mallille. Tämä lähestymistapa parantaa resurssien käyttöä ja vähentää tarvittavien palvelimien määrää, johtaen keskimäärin 50 %:n kustannussäästöihin mallien käyttöönotossa.

Lisäksi joustavampi päättelyarkkitehtuuri auttaa minimoimaan kuormituksen vaihteluihin liittyviä viiveitä. Mallien päättelyaikojen vaihdellessa satunnaisesti reititettyjen pyyntöjen vuoksi voi syntyä ennakoimattomia viivepiikkejä. Uudet ominaisuudet pyrkivät tasoittamaan näitä piikkejä ja tarjoamaan tasaisemman käyttäjäkokemuksen. AWS ei ole antanut tarkkoja lukuja kustannussäästöjen suhteen julkaisussaan, mutta se mainitsee keskimääräisen 50 % vähennyksen suurten mallien käyttöönoton kustannuksissa.