Zesty automatisoi GPU-muistin jakamisen tekoälykuormille
Zesty julkisti uuden automaatiotoiminnon, joka optimoi dynaamisesti NVIDIA GPU-resurssien jakamista tekoälytehtäville parantaen hyödyntämistä ja alentaen kustannuksia.
Kalifornian San Mateossa – Zesty, Kubernetes-optimointiin erikoistunut yritys, on julkaissut uuden automaattisen toiminallisuuden, joka mahdollistaa NVIDIA CUDA-natiivien GPU:iden dynaamisen jakamisen. Tämä ominaisuus seuraa NVIDIA:n avoimesti julkaisemaa Run:ai-alustaa ja pyrkii parantamaan tekoälytyökuormien suorituskykyä ja hyödyntämään GPU-resursseja tehokkaammin.
Uusi automaatiojärjestelmä mukauttaa jatkuvasti GPU-muistin allokointia, laskentatehon jakamista ja työkuormien sijoittelua muuttuvien tarpeiden mukaan. Sen tavoitteena on lisätä useampien työkuormien ajamista samoilla GPU-laitteilla, vähentää tarvetta ylimääräisille GPU-kapasiteeteille ja alentaa infrastruktuurikustannuksia ilman, että sovellusten suorituskyky kärsii.
Perinteisesti GPU:t on allokoitu joko kokonaan yksittäisille työkuormille tai jaettu kiinteisiin osiin, mikä ei ole pystynyt vastaamaan dynaamisten tekoälytyökuormien jatkuvasti muuttuviin vaatimuksiin. Tämä on johtanut resurssien hukkaan ja tarpeeseen hankkia lisää GPU-laitteita, vaikka olemassa olevaa kapasiteettia jäisi käyttämättä.
NVIDIA:n avoimesti julkaisema Run:ai-alusta mahdollistaa GPU:iden jakamisen Kubernetes-ympäristöissä. Zestyn automaatio täydentää tätä tarjoamalla päätöksentekokerroksen, joka optimoi resurssien käytön reaaliaikaisen datan ja ennalta määritettyjen käytäntöjen perusteella.
Zestyn "Automated Fractional GPUs" on nyt saatavilla osana yrityksen alustaa. Ratkaisu toimii kevyenä agenttina Kubernetes-klusterissa ja vaatii muutoksia olemassa oleviin sovelluksiin tai malleihin.