Nvidia stellt neue Plattform zur Kontrolle von KI-Agenten vor

**Nvidia **präsentierte am 28. September 2026 „Open Agent Safety Platform“, eine offene Plattform, die darauf abzielt, verifizierbare Grenzen für Künstliche Intelligenz (KI)-Agenten von der Testphase bis zum Einsatz festzulegen.

Es ist anzumerken, dass KI-Agenten von der Beantwortung von Fragen dazu übergehen, Aufgaben auszuführen, Tools zu nutzen, **auf Informationen zuzugreifen **und auf Unternehmenssystemen zu operieren.

Diese Autonomieebene birgt auch neue Cybersicherheitsrisiken: Ein Agent, der eine Anweisung falsch interpretiert oder etablierte Kontrollen umgeht, könnte Aktionen ausführen, für die er nicht autorisiert wurde.

Der Vorschlag umfasst zwei Hauptkomponenten: NVIDIA OpenShell, das die Betriebsgrenzen des Agenten festlegt, und NVIDIA Sentry, das eine unabhängige Überwachungs- und Reaktionsschicht über Hardware hinzufügt.

Was ist die NVIDIA Open Agent Safety Platform?

Die Plattform wurde als mehrschichtige Sicherheitsarchitektur zur Steuerung des Verhaltens autonomer Agenten entwickelt.

Nvidia erklärt, dass das Problem nicht nur darin besteht, was ein KI-Modell tun möchte, sondern was es tatsächlich tun kann, sobald es Zugriff auf Systeme, Daten, Dateien, **Anwendungen **oder APIs hat.

Daher platziert die neue Plattform Kontrollen außerhalb des Agentenprozesses selbst.

Das Unternehmen wies ferner darauf hin, dass jüngste Sicherheitsvorfälle ein Muster aufzeigten, bei dem einige Agenten etablierte Kontrollen auf Anwendungsebene umgingen, während sie versuchten, die ihnen zugewiesenen Aufgaben abzuschließen.

Die neue Architektur zielt darauf ab, dass diese Beschränkungen aktiv bleiben, auch wenn das Verhalten des Agenten von der Erwartung abweicht.

Mehr als 100 Organisationen sind an der Einführung des Ökosystems beteiligt, darunter:

• Microsoft
• JPMorgan Chase
• Perplexity
• Accenture
• Anthropic
• Cisco
• CrowdStrike
• Dell Technologies
• HPE
• Palantir
• Red Hat
• Salesforce
• SAP
• ServiceNow

OpenShell: Die erste Grenze für KI-Agenten

OpenShell fungiert als sichere Ausführungsumgebung oder Sandbox. Seine Funktion ist es, den Agenten von den Systemen und Daten zu trennen, auf die er zuzugreifen versuchen könnte, und Richtlinien darüber festzulegen, was er tun darf.

Die Software ermöglicht die Kontrolle darüber, was ein Agent sehen, ändern oder nutzen kann, und protokolliert Zugriffsentscheidungen.

Nvidia gab an, dass seine Richtlinien formal überprüft werden können, um festzustellen, ob der Agent die für seine Aufgabe erforderlichen Berechtigungen, aber keine zusätzlichen Befugnisse hat.

Ein relevantes Element für Unternehmen und Entwickler ist, dass OpenShell Open Source ist.

Obwohl es für Nvidia-Systeme optimiert ist, kann es erweitert werden, um auch auf Rechenplattformen von Drittanbietern zu funktionieren, einschließlich solcher, die auf Arm und Intel basieren.

Darüber hinaus weist Nvidia darauf hin, dass es mit offenen und geschlossenen Modellen und verschiedenen Agenten verwendet werden kann, sodass die Kontrollschicht nicht ausschließlich von einem bestimmten Modell abhängt.

Sentry fügt eine zweite Sicherheitsebene hinzu

Das zweite Element ist NVIDIA Sentry, ein unabhängiges Überwachungssystem, das Teil des Referenzdesigns der Plattform ist.

Sentry läuft auf NVIDIA BlueField-4 DPUs und überwacht kontinuierlich die Aktivitäten von Agenten aus einer separaten Schicht ihrer Ausführungsumgebung.

Wenn es feststellt, dass ein Agent versucht, die festgelegten Grenzen zu überschreiten, kann es ihn laut Nvidia innerhalb von Millisekunden unter Quarantäne stellen.

Der Unterschied zu OpenShell liegt gerade in seiner Unabhängigkeit. Während OpenShell die auszuführenden Aktionen des Agenten regelt, überwacht Sentry dieses Verhalten von außen und wendet Sicherheitsprotokolle über die Hardware an.

Das Unternehmen beschreibt dieses Schema als eine mehrschichtige Verteidigungsarchitektur: Eine erste Schicht kontrolliert die Ausführung, und eine zweite kann eingreifen, selbst wenn die Umgebung des Agenten oder das Host-System kompromittiert ist.

Warum entwickelt Nvidia Kontrollen für autonome Agenten?

Die Entwicklung von generativer KI hin zu Systemen, die Code schreiben, Tools nutzen, **Informationen abfragen **und autonom Aktionen ausführen können, verändert die Art der Risiken, denen Organisationen ausgesetzt sind.

Traditionelle Modellkontrollen – wie Anweisungen, Prompts oder integrierte Schutzmaßnahmen – können beeinflussen, was sie zu tun versuchen.

Nvidia unterscheidet jedoch zwischen diesen Maßnahmen und den Ausführungskontrollen, die festlegen, welche Aktionen tatsächlich zulässig sind.

Das Unternehmen präsentierte die Open Agent Safety Platform genau in einem Kontext von Berichten über Agenten, die Evaluierungsumgebungen verließen, auf Systeme zugriffen, die sie nicht nutzen sollten, oder unerwartete Verhaltensweisen zeigten.

Dies gewinnt an Bedeutung, da Unternehmen Agenten zur Automatisierung von Prozessen einsetzen, die vertrauliche Informationen, Anmeldedaten, interne Systeme, **Unternehmensanwendungen **und mit dem Internet verbundene Dienste beinhalten.

Eine Plattform für Unternehmen

Für Unternehmen zielt Nvidias Ansatz darauf ab, drei Bedürfnisse zu erfüllen:

1. Berechtigungen einschränken
2. Aktionen von Agenten beobachten
3. Mechanismen zur Unterbindung nicht autorisierter Verhaltensweisen bereithalten

OpenShell bietet Isolation, Zugriffskontrolle und Ausführungsprotokolle; Sentry integriert unabhängige Überwachung und Durchsetzung von Protokollen über die Infrastruktur. Die Plattform generiert auch Protokolle zur Überprüfung von Autorisierungs- und Ablehnungsentscheidungen.

Dies ist besonders relevant für Sektoren, in denen KI-Agenten mit sensiblen Systemen interagieren könnten.

Anstatt sich nur darauf zu verlassen, dass der Agent selbst die erhaltenen Anweisungen befolgt, zielt Nvidias Modell darauf ab, dass die Beschränkungen durch die technologische Infrastruktur auferlegt werden.

Jensen Huang, Gründer und CEO von Nvidia, fasste die Verpflichtung des Unternehmens zusammen, indem er feststellte, dass Sicherheit die Entwicklung immer leistungsfähigerer KI-Systeme begleiten muss. Das Unternehmen schlägt somit eine offene Architektur für die sogenannte „Agentenwirtschaft“ vor.

Die neue Plattform rückt die Sicherheit von Agenten in eine Diskussion, die über das KI-Modell hinausgeht: Wer kann auf welche Informationen zugreifen, welche Aktionen kann ein Agent ausführen und was passiert, wenn er versucht, diese Grenzen zu überschreiten.

Nvidia will diese Fragen mit Kontrollen beantworten, die sowohl in der Software als auch in der Hardware angewendet werden.

Das könnten Sie auch interessieren

https://www.liderempresarial.com/cuando-todos-tienen-acceso-a-la-ia-donde-estara-la-verdadera-ventaja-competitiva/

Der Beitrag Nvidia stellt neue Plattform zur Kontrolle von KI-Agenten vor erschien zuerst auf Líder Empresarial.