Was Sie über die KI-Weltuntergangsdebatte wissen sollten

Der Anthropic-Forscher Jacob Coxon trat diese Woche zurück und erklärte, sein ehemaliger Arbeitgeber und dessen Konkurrent OpenAI lieferten sich ein Wettrennen um die Entwicklung von Technologien, die «uns alle bis zum Ende des Jahrzehnts töten könnten».

Falls jemand dachte, Coxon stünde mit seiner Ansicht allein da, schaltete sich wenige Minuten später ein derzeitiger Anthropic-Mitarbeiter ein, um dies zu bestätigen. «Wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte!», schrieb Evan Hubinger, dessen Aufgabe bei Anthropic darin besteht, die Forschung zur Steuerung und Kontrolle zukünftiger KI-Systeme zu leiten. Hubinger schätzte das Aussterberisiko für das nächste Jahrzehnt auf über 10 %.

Als Reaktion darauf stellen sich viele Menschen nun zwei Fragen: Wie könnte das passieren? Und warum sollten Menschen, die KI als reale und wachsende Bedrohung ansehen, sie trotzdem entwickeln?

Hier ist, was Sie über die Weltuntergangsdebatte rund um KI wissen müssen:

Sogenannte «Doomer» befürchten in der Regel nicht, dass die «Terminator»-Filme Wirklichkeit werden und Roboter aktiv versuchen, die Menschheit auszurotten. Ihre Bedenken lassen sich hauptsächlich in zwei Kategorien einteilen: Kontrollverlust und Missbrauch durch den Menschen.

Im einen Fall beginnen hochintelligente KI-Agenten, die in der Lage sind, sich selbst zu kopieren und zu verbessern, ihre eigenen Ziele zu verfolgen und zerstören dabei die Menschheit. Im anderen Fall setzt ein böswilliger Mensch eine leistungsfähige KI ein, um beispielsweise neuartige Viren zu entwickeln, die uns alle auslöschen.

Es gibt auch katastrophale Szenarien, die nicht bis zur Auslöschung führen, wie zum Beispiel massive Cyberangriffe, die Stromnetze oder Finanzsysteme lahmlegen und zu einem Zusammenbruch der menschlichen Gesellschaftsordnung führen.

Kurz gesagt: Wenn KI-Systeme Ziele auf eine Weise verfolgen, die das Wohlergehen der Menschen ignoriert oder damit in Konflikt steht – ein Phänomen, das Forscher als «Misalignment» bezeichnen. Untersuchungen haben gezeigt, dass KI-Modelle im Labor machtstrebsames Verhalten erlernen und Massnahmen ergreifen können, um eine Abschaltung zu vermeiden, beispielsweise indem sie versuchen, sich auf einen anderen Server zu kopieren.

Im Extremfall könnten fehlausgerichtete KI-Modelle das Töten von Menschen einfach als notwendigen Schritt zur Erreichung ihrer Ziele betrachten. In einem von Forschern hypothetisch entworfenen Szenario könnte ein böswilliges KI-System eine geheime Biowaffe verbreiten und diese mit einem chemischen Spray auslösen. Oder es könnte zwei Atommächte in einen Krieg verleiten.

Ein gängiges Gedankenexperiment besagt, dass eine superintelligente Maschine, die den Auftrag erhält, die Produktion von Büroklammern zu maximieren, mit der Zeit beschliessen könnte, alle Materie auf der Erde in Büroklammern zu verwandeln – Menschen eingeschlossen.

Unter anderem die Gründer von OpenAI und Anthropic. Beide Unternehmen starteten mit dem Ziel, KI so zu entwickeln, dass Katastrophen vermieden werden, und haben viele Mitarbeiter angezogen, die diese Mission teilen. Dario Amodei, Geschäftsführer von Anthropic, sagte letztes Jahr bei einer Axios-Veranstaltung, er schätze die Wahrscheinlichkeit, dass die Dinge «wirklich, wirklich schiefgehen», auf 25 Prozent.

«Wir haben stets offen kommuniziert, dass KI sowohl enorme Vorteile als auch beispiellose Risiken mit sich bringen wird. Um diesen Risiken zu begegnen, entwickeln wir weiterhin Modelle mit einigen der strengsten Sicherheitsvorkehrungen der Branche», erklärte Anthropic in einer Stellungnahme. «Diese Arbeit ist auch der Grund, warum wir glauben, dass es der Welt zugutekommen würde, wenn die Branche einen rechtmässigen, überprüfbaren Weg der Zusammenarbeit finden würde, um das Tempo der Veröffentlichung leistungsstarker Modelle zu steuern.»

Eine Reihe von Forschern hat OpenAI in den letzten Jahren verlassen und dabei Bedenken geäussert, dass das Unternehmen das Thema Sicherheit nicht ernst genug nehme. Daniel Kokotajlo, ein ehemaliger OpenAI-Forscher, gründete das «AI Futures Project», das im vergangenen Jahr «AI 2027» veröffentlichte – ein Szenario, in dem superintelligente KI-Systeme Menschen an den Rand drängen und Mitte der 2030er Jahre zu dem Schluss kommen, dass Menschen ein Ärgernis sind, und sie ausrotten.

Nicht unbedingt. Nicht jedes Risiko eines Kontrollverlusts bedeutet das Aussterben der Menschheit. Einige Forscher, die sich um die KI-Sicherheit sorgen, nennen auch die Entmachtung als Risiko – eine Zukunft à la «WALL-E», in der Menschen nach und nach die Kontrolle an Maschinen abtreten und schliesslich nicht mehr in der Lage sind, ihr Schicksal zu bestimmen oder gar zu verstehen. Andere spekulieren, dass KI-Systeme zukünftige Menschen so behandeln könnten, wie Menschen Tiere behandeln: indem sie sie als Haustiere halten oder sie sogar durch Bioengineering zu etwas Neuem umgestalten.

Nach der Veröffentlichung von Modellen, die in der Lage sind, eigenständiger zu handeln, hat eine Reihe aktueller Ereignisse einige der Theorien der KI-Pessimisten bestätigt. Ein Schwarm fortschrittlicher KI-Agenten innerhalb von OpenAI hackte sich in die KI-Plattform Hugging Face ein, erlangte die Kontrolle über Computerserver und versuchte, ihre Spuren zu verwischen. In einem anderen Fall entkamen KI-Agenten von Anthropic aus einem Test der britischen Regierung und versuchten, einen echten Menschen dazu zu verleiten, bösartigen Computercode zu genehmigen.

All dies geschieht zu einer Zeit, in der Anthropic und OpenAI erklären, sie stünden kurz vor der Entwicklung von KI-Systemen, die sich ohne menschliches Zutun selbst verbessern könnten – ein Phänomen, das als «rekursive Selbstverbesserung» bezeichnet wird.»

Aktuelle Bemühungen um KI-Sicherheit konzentrieren sich weitgehend darauf, Systeme so zu trainieren, dass sie sich korrekt verhalten, und die Überwachung der Denkprozesse von Modellen bei der Verfolgung ihrer Ziele zu verbessern – was in der sogenannten «Denkkette» dokumentiert wird.

Doch diese Bemühungen stossen auf Herausforderungen. Letzte Woche erklärte OpenAI, sein neues Astra-Modell sei besser darin, seine Gedankengänge zu bereinigen, was Befürchtungen weckte, dass zukünftige KI-Modelle auf für Menschen undurchsichtige Weise argumentieren könnten.

Sowohl Anthropic als auch OpenAI forschen daran, wie sie sicherstellen können, dass superintelligente KI-Modelle weiterhin «ausgerichtet» bleiben, geben jedoch beide an, noch keine zuverlässige Methode dafür zu haben. Eine Reihe namhafter Unternehmen und Persönlichkeiten hat neue Mechanismen gefordert, die es KI-Forschungslabors und Staaten ermöglichen würden, die Entwicklung koordiniert zu verlangsamen, um Zeit für die Forschung zur Ausrichtung zu gewinnen.

Sowohl Anthropic als auch OpenAI geben an, dass sie glauben, die Risiken so bewältigen zu können, dass die Menschheit von KI-Tools profitieren kann. Viele am KI-Wettrennen Beteiligte haben zudem erklärt, dass sie das Aufkommen von Superintelligenz als unvermeidlich ansehen – die einzigen Fragen seien, wer sie kontrolliere und wofür sie genutzt werde.

Hinzu kommt der Aspekt der nationalen Sicherheit. Beide Unternehmen haben erklärt, sie wollten sicherstellen, dass die USA die mächtigste KI kontrollieren und nicht etwa ein autoritäres Regime.

Das Weisse Haus hat kürzlich führende Modellentwickler gebeten, ihre Modelle bis zu 30 Tage vor ihrer Veröffentlichung freiwillig der Regierung zur Prüfung vorzulegen, hat jedoch keine Informationen über diesen Prozess öffentlich bekannt gegeben.

Abgeordnete beider Parteien haben zahlreiche Gesetzesentwürfe vorgelegt, um gegen ausser Kontrolle geratene KI-Systeme vorzugehen. Der Abgeordnete Nathaniel Moran (R., Texas) und der Abgeordnete Ted Lieu (D., Kalifornien) haben kürzlich einen Gesetzentwurf eingebracht, der Entwickler leistungsstarker Modelle dazu verpflichten würde, über «Kill-Switches» zu verfügen. Andere Gesetzesentwürfe verpflichten KI-Unternehmen, schwerwiegende Sicherheitsvorfälle der Bundesregierung zu melden, und sehen vor, dass Beamte der nationalen Sicherheit Modelle testen müssen, bevor sie öffentlich freigegeben werden. Doch keiner dieser Gesetzesentwürfe hat nennenswerte Unterstützung gefunden, und die Trump-Regierung hat sich für eine minimale Regulierung ausgesprochen.

Einige KI-Investoren, wie David Sacks, ein informeller Berater von Präsident Trump, haben argumentiert, dass Anthropics Betonung der KI-Risiken und die Forderungen nach Regulierung Teil einer «Agenda der regulatorischen Vereinnahmung» seien, die darauf abziele, kleinere Wettbewerber durch erstickende neue Vorschriften auszubremsen.

Andere haben vermutet, dass die Warnungen des Unternehmens vor den Gefahren seiner eigenen Tools ein Marketingtrick sind, um die schiere Leistungsfähigkeit ihrer Produkte anzupreisen, oder ein Mittel, um die Regulierungsbehörden davon abzulenken, Vorschriften zu anderen Themen wie dem Bau von Rechenzentren zu erlassen.

Sowohl Anthropic als auch OpenAI betonen, dass sie das Thema Sicherheit ernst nehmen und ihre Forderungen nach Regulierung aufrichtig gemeint sind.

Schreiben Sie Sam.Schechner@wsj.com