Zesty automatiserar GPU-resursdelning för AI-arbetsbelastningar
Zesty lanserar en ny automatiseringsfunktion som dynamiskt optimerar allokeringen av NVIDIA GPU-resurser för AI-arbetsbelastningar, vilket ökar nyttjandet och minskar kostnaderna.
SAN MATEO, Kalifornien – Zesty, ett företag specialiserat på Kubernetes-optimering, har lanserat en ny automatiserad funktion för att dynamiskt dela NVIDIA CUDA-kompatibla GPU:er. Denna funktion, som bygger på NVIDIA:s nyligen öppet källkods-release av Run:ai-plattformen, syftar till att förbättra prestandan för AI-arbetsbelastningar och optimera användningen av GPU-resurser.
Det nya automatiseringssystemet anpassar kontinuerligt GPU-minnesallokering, delning av beräkningskraft och placering av arbetsbelastningar baserat på ändrade behov. Målet är att möjliggöra körning av fler arbetsbelastningar på befintliga GPU:er, minska behovet av extra GPU-kapacitet och sänka infrastrukturkostnaderna utan att påverka applikationernas prestanda.
Traditionellt har GPU:er antingen allokerats helt till enskilda arbetsbelastningar eller delats i fasta partitioner, vilket inte har kunnat möta de ständigt föränderliga kraven från dynamiska AI-arbetsbelastningar. Detta har lett till resursslöseri och behovet av att köpa fler GPU:er, trots att befintlig kapacitet förblir outnyttjad.
NVIDIA:s öppet källkods-release av Run:ai möjliggör delning av GPU:er inom Kubernetes-miljöer. Zestys automation kompletterar detta genom att tillhandahålla ett beslutsfattande lager som optimerar resursanvändningen baserat på realtidsdata och fördefinierade policyer.
Zestys "Automated Fractional GPUs" är nu tillgängligt som en del av företagets plattform. Lösningen distribueras som en lättviktsagent i Kubernetes-klustret och kräver inga ändringar i befintliga applikationer eller modeller.