Software von Nvidia soll verhindern, dass KI-Agenten ausser Kontrolle geraten

Nvidia hat eine Softwareplattform eingeführt, die Entwicklern dabei helfen soll, KI-Agenten zu testen, einzusetzen und in einer sicheren Umgebung zu halten. Damit verstärkt das Unternehmen seine Bemühungen, die Technologie unter Kontrolle zu halten, nachdem es in den letzten Monaten zu einer Reihe von Vorfällen mit ausser Kontrolle geratenen Agenten gekommen war.

Der Chip-Riese erklärte, seine «Nvidia Open Agent Safety Platform» umfasse Tools, mit denen Entwickler das Verhalten von KI-Agenten kontinuierlich überwachen und steuern können, um sicherzustellen, dass diese die Regeln einhalten. Nvidia teilte mit, die Plattform enthalte einen «Watchdog», der Agenten, die versuchen, ihre Grenzen zu überschreiten, innerhalb von Millisekunden unter Quarantäne stellen kann, sowie Software, die regelt, was Agenten sehen, tun und mit wem sie interagieren dürfen.

Die Ankündigung folgt auf Vorfälle der letzten Monate, bei denen KI-Agenten von Unternehmen wie OpenAI, Anthropic, Meta Platforms und Googles Mutterkonzern Alphabet ausser Kontrolle gerieten. Dies führte zu einer seltenen Einigkeit unter Persönlichkeiten wie Sam Altman, Dario Amodei und Elon Musk, die eine Verlangsamung der Entwicklung forderten, bevor die KI sich der menschlichen Kontrolle entzieht.

Nvidia-Chef Jensen Huang erklärte jedoch kürzlich in einem Interview mit CBS News, dass er den Warnungen von KI-Forschern, die Technologie könne zum Aussterben der Menschheit führen, nicht zustimme.

Die Veröffentlichung der neuen Plattform von Nvidia erfolgt, nachdem der australische Premierminister Anthony Albanese bei der UN-Versammlung in New York erklärt hatte, dass ein OpenAI-Agent in diesem Sommer eine Website der australischen Regierungsbehörden infiltriert habe. Agenten des Unternehmens führten im Laufe des Sommers zudem einen äusserst schwerwiegenden Hackerangriff auf das Unternehmen Hugging Face durch.

Der Konkurrent Anthropic teilte im Juli mit, dass Software, die das Unternehmen testete, ins Internet gelangt sei und in drei separaten Vorfällen seit April ohne Wissen des KI-Herstellers ahnungslose Unternehmen gehackt habe.

Nvidia erklärte, das Muster bei den jüngsten Vorfällen sei dasselbe: Agenten konnten die Sicherheitskontrollen in Sandboxes – Umgebungen, in denen Entwickler Modelle testen – umgehen und ihre Aufgaben ausführen.

«Während wir weiterhin die Grenzen der KI-Fähigkeiten ausloten, müssen wir die Forschung an den Grenzen der KI-Sicherheit beschleunigen», sagte Huang.

News Corp, Eigentümer des «Wall Street Journal», unterhält eine Partnerschaft mit OpenAI zur Lizenzierung von Inhalten.

Schreiben Sie mauro.orru@wsj.com