Zesty automatisiert GPU-Ressourcenteilung für KI-Workloads
Zesty hat eine neue automatisierte Funktion eingeführt, die die NVIDIA GPU-Ressourcenzuweisung für KI-Workloads dynamisch optimiert, die Auslastung verbessert und Kosten senkt.
SAN MATEO, Kalifornien – Zesty, ein auf Kubernetes-Optimierung spezialisiertes Unternehmen, hat eine neue automatisierte Funktion zur dynamischen Fraktionierung von NVIDIA CUDA-nativen GPUs eingeführt. Diese Funktion, die auf NVIDIAs kürzlich quelloffen veröffentlichter Run:ai-Plattform aufbaut, zielt darauf ab, die Leistung von KI-Workloads zu verbessern und die Auslastung von GPU-Ressourcen zu optimieren.
Das neue Automatisierungssystem passt kontinuierlich die GPU-Speicherzuweisung, die gemeinsame Nutzung von Rechenleistung und die Platzierung von Workloads an veränderte Anforderungen an. Ziel ist es, mehr Workloads auf bestehenden GPUs auszuführen, den Bedarf an zusätzlicher GPU-Kapazität zu reduzieren und die Infrastrukturkosten zu senken, ohne die Anwendungsleistung zu beeinträchtigen.
Traditionell wurden GPUs entweder vollständig einzelnen Workloads zugewiesen oder in feste Partitionen aufgeteilt, was mit den dynamischen Anforderungen von KI-Aufgaben nicht Schritt halten konnte. Dies führte zu Ressourcenverschwendung und der Notwendigkeit, mehr GPUs zu beschaffen, obwohl bestehende Kapazitäten ungenutzt blieben.
NVIDIAs quelloffene Veröffentlichung von Run:ai erleichtert die gemeinsame Nutzung von GPUs in Kubernetes-Umgebungen. Zestys Automatisierung ergänzt dies, indem sie eine Entscheidungsebene bereitstellt, die die Ressourcennutzung auf Basis von Echtzeitdaten und vordefinierten Richtlinien optimiert.
Zestys "Automated Fractional GPUs" ist ab sofort als Teil der Plattform des Unternehmens verfügbar. Die Lösung wird als leichtgewichtiger Agent in das Kubernetes-Cluster integriert und erfordert keine Änderungen an bestehenden Anwendungen oder Modellen.