NVIDIA startet Plattform für KI-Agentensicherheit

NVIDIA hat die NVIDIA Open Agent Safety Platform gestartet, eine neue Lösung zur Verbesserung der Sicherheit und Kontrolle von KI-Agenten, ihrer zugehörigen Hardware und Robotersystemen. Die Plattform umfasst NVIDIAs OpenShell-Sicherheitssoftware, die Grenzen für auf CPUs laufende KI-Agenten festlegt und sowohl Open-Source- als auch Closed-Source-Modelle unterstützt.

Die OpenShell-Software ist für eine geringe Ressourcennutzung auf der Vera-Plattform konzipiert, wodurch KI-Agenten Aufgaben effizient ausführen können, während die Sicherheit gewährleistet bleibt. Als Open-Source-Software kann OpenShell in Drittanbieterplattformen integriert werden, einschließlich solcher von Arm und Intel.

NVIDIA kündigte zudem NVIDIA Sentry an, ein Watchdog-System, das das Verhalten von KI-Agenten kontinuierlich überwachen kann. Wenn ein Agent versucht, seine operativen Grenzen zu überschreiten, kann Sentry dessen Ausführung innerhalb von Millisekunden isolieren oder stoppen. Sentry läuft auf einem BlueField-4 DPU und erzwingt Sicherheitsrichtlinien unabhängig auf Hardwareebene.

Unternehmen wie Anthropic, SpaceX und Scale AI arbeiten bereits mit NVIDIA zusammen, um OpenShell für ihre KI-Modelle und -Agenten zu implementieren. Diese Plattform adressiert den wachsenden Bedarf an robusten Sicherheits- und Kontrollmaßnahmen in komplexen KI-Implementierungen.