Der moralische Konflikt bei Anthropic spielt sich in Echtzeit ab

Dario Amodei gründete Anthropic, um genau solche Momente zu vermeiden.

In einem aufsehenerregenden Essay vom Samstag schloss sich der Geschäftsführer eines der führenden KI-Unternehmen vielen der Weltuntergangswarnungen – von aktuellen und ehemaligen Mitarbeitern – an, die in der vergangenen Woche landesweit Panik ausgelöst hatten.

«Gemeinsam mit meinen Mitbegründern und Mitarbeitern setze ich mich seit den Anfängen von Anthropic mit dieser Dualität aus Risiko und Nutzen auseinander», schrieb er. «Die Technologie nicht zu entwickeln, beraubt die Menschheit der Vorteile oder überlässt die KI schlichtweg autoritären Mächten, während eine zu schnelle Entwicklung leichtsinnig ist.»

Er bekräftigte seine Forderung an die KI-Branche, die Entwicklung fortschrittlicher künstlicher Intelligenz zu verlangsamen, um genügend Zeit zu gewinnen, um sicherzustellen, dass dies auf sichere Weise geschieht. Doch nur wenige Wochen vor dem möglicherweise grössten Börsengang aller Zeiten scheute Amodei davor zurück, das Einzige zu tun, was in seiner Macht stand: die eigene Arbeit bei Anthropic zu unterbrechen oder zu verlangsamen.

Es ist ein klassisches Gefangenendilemma.

Wenn alle KI-Labore, einschliesslich des erbitterten Rivalen OpenAI, sich darauf einigen, ihre Arbeit zu verlangsamen, könnte dies der gesamten Menschheit zugutekommen – sofern man Amodeis Warnungen Glauben schenkt. Diese Verlangsamung verschafft Anthropic, das bereits führend auf diesem Gebiet ist, wahrscheinlich einen Vorteil.

Wenn jedoch nur Anthropic dem Aufruf folgt, fällt das Unternehmen hinter OpenAI zurück.

Selbst wenn OpenAI sich Anthropic anschliesst – wie dessen CEO Sam Altman am Samstag andeutete –, könnten die USA hinter China zurückfallen.

Dann ist da noch das Geld. Es stehen Billionen Dollar auf dem Spiel, die Menschen wie Amodei zu den reichsten der Welt machen und Anthropics Fähigkeit beflügeln werden, die Entwicklung seiner KI weiter zu beschleunigen.

Im Juni reichte das Unternehmen vertrauliche Unterlagen im Vorfeld eines tatsächlichen Börsengangs ein. Das Unternehmen strebte einen Börsengang in diesem Monat oder im Oktober an. Es will bis zu 100 Milliarden Dollar bei einer Bewertung von etwa 2 Billionen Dollar einnehmen – noch vor dem geplanten Börsengang von OpenAI, wie das «Wall Street Journal» berichtet hat.

Angesichts der Ereignisse der vergangenen Woche ist es jedoch schwer zu glauben, dass Anthropic wirklich bereit ist, in den kommenden Wochen ein börsennotiertes Unternehmen zu werden.

Nicht, wenn die eigenen Mitarbeiter öffentlich erklären, dass sie ernsthaft davon überzeugt sind, dass ihre Technologie die Menschheit in den nächsten Jahren auslöschen könnte. Und sie haben noch nicht herausgefunden, wie sie dies verhindern können.

Verständlicherweise haben diese Aussagen, gepaart mit den jüngsten Hackerangriffen durch ausser Kontrolle geratene KI, grosse Besorgnis ausgelöst. Dutzende von Gesetzgebern – Republikaner wie Demokraten – drängten auf Massnahmen, darunter auch die Einstellung der KI-Entwicklung.

Das wirklich Beängstigende an diesen Weltuntergangsgerüchten war jedoch nicht die Bedrohung durch die KI von Anthropic, von der wir schon viel gehört haben. Vielmehr war es der Hinweis darauf, dass die einzigartigen Schutzmechanismen, die Amodei bei Anthropic eingerichtet hatte, um Marktdruck zu widerstehen, versagen.

«Bei Anthropic ist man sich der Risiken durchaus bewusst, aber das Unternehmen befindet sich in einem Wettlauf um die Vorreiterrolle – man glaubt, dass niemand sonst verantwortungsbewusst handeln wird, also muss man es selbst tun, trotz des Risikos», warnte Jacob Coxon am Dienstag auf X.

Der KI-Forscher, der zuvor bei OpenAI gearbeitet hatte, gab zunächst in einem Interview mit dem «Journal» bekannt, dass er Anthropic verlassen werde, und trat anschliessend bei CNN und Fox News auf. Seine Geschichte, die sich wie ein Lauffeuer verbreitete, brachte den KI-Pessimismus – seit langem ein fester Bestandteil der Debatte im Silicon Valley – auf eine Weise in den Mainstream, die die Branche überraschte.

Was seinen Warnungen noch mehr Nachdruck verlieh, war, dass diese Ansichten von seinen ehemaligen Kollegen geteilt wurden, darunter Evan Hubinger, ein derzeitiger Teamleiter bei Anthropic, der die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts die gesamte Menschheit auslöschen könnte, auf über 10 % bezifferte.

«Ich glaube, dass Anthropic sein Bestes gibt, aber wir haben noch keinen Plan, um das Alignment-Problem für Superintelligenz zu lösen, und sind auch nicht eindeutig auf dem Weg dorthin», schrieb Hubinger als Antwort auf X.

Lassen wir Verschwörungstheorien über die Motive hinter den KI-Warnungen von Anthropic für einen Moment beiseite und nehmen wir sie für bare Münze.

Dann beobachten wir in Echtzeit eine Belegschaft, die mit dem moralischen Konflikt ringt, was es bedeutet, nicht mehr Teil eines wissenschaftlichen Experiments zu sein, sondern stattdessen an der Entwicklung von KI mitzuwirken, von der viele glauben, dass sie gefährlich sein kann.

Etwa zur gleichen Zeit wie die Einreichung des Börsengangs veröffentlichte Anthropic einen ausführlichen Aufsatz, in dem dargelegt wurde, warum eine globale Initiative zur Aussetzung der KI-Entwicklung eine gute Idee sei. «Ohne einen globalen Koordinierungsmechanismus werden Unternehmen und Regierungen unter Wettbewerbs- und geopolitischem Druck schwierige Entscheidungen hinsichtlich der Sicherheit treffen müssen», erklärte das Unternehmen.

Einige Wochen später unterzeichneten Amodei und andere Branchenvertreter einen Brief, in dem sie die US-Regierung aufforderten, internationale Bemühungen zur Drosselung der fortgeschrittenen KI-Entwicklung zu unterstützen.

Zu einer Pause ist es nicht gekommen. Und das Wettrennen geht weiter.

Es geht um viel Geld – und genau deshalb wollen einige in der Tech-Branche die Warnungen von Anthropic nicht ernst nehmen. Sie tun sie als Marketing ab, das in falsche Panikmache verpackt ist. Oder sie vermuten, dass es Teil einer weiteren ausländischen Einflusskampagne ist, um die USA hinter China zurückfallen zu lassen. Oder sie behaupten, es handele sich um einen weiteren Teil einer ausgeklügelten Lobbykampagne, um sicherzustellen, dass Vorschriften so formuliert werden, dass sie die Marktführerschaft von Anthropic festigen.

Ein Grossteil ihrer Frustration über den Konflikt der vergangenen Woche rührt daher, dass solch ein «Doomerismus» seit Jahren Teil der Debatte im Silicon Valley rund um diese Technologie ist.

Und es gibt wahrscheinlich keine grösseren «P(Doom)»-Verfechter als die Leute bei Anthropic. Das Unternehmen wurde 2021 von Amodei und einer Handvoll anderer gegründet, die OpenAI verlassen hatten, weil sie befürchteten, das KI-Labor würde die Sicherheit bei seinen Bemühungen um eine schnelle Entwicklung der Technologie nicht ernst genug nehmen.

Amodei hat davor gewarnt, dass KI zu Arbeitsplatzverlusten wie während der Weltwirtschaftskrise führen könnte, und sagte erst vor einem Jahr auf einer Axios-Konferenz, es bestehe eine Wahrscheinlichkeit von 25 %, dass die Zukunft der KI «wirklich, wirklich schlecht» verlaufen werde.

Ein solches Eintreten entspricht den Überzeugungen des Unternehmens. Nach eigener Beschreibung ist Anthropic ein auf KI-Sicherheit und -Forschung spezialisiertes Unternehmen, das mit einer einzigartigen Führungsstruktur gegründet wurde, um es vor den Launen der Investoren zu schützen.

Diese Struktur, so Anthropic, «kann sicherstellen, dass die Unternehmensführung Anreize erhält, zukünftige Modelle sorgfältig auf katastrophale Risiken zu prüfen … anstatt der Markteinführung als Erstem Vorrang vor allen anderen Zielen einzuräumen.»

Doch so umsichtig die Führungskräfte von Anthropic auch sein mögen – sie haben nicht verstanden, dass das Einzige, was sie kontrollieren können, ihr eigenes Handeln ist. Sie können Konkurrenten nicht davon abhalten, die Welt zu zerstören, aber sie können entscheiden, dass sie daran nicht teilhaben wollen.

Sie müssen dieses KI-Monster nicht erschaffen. Stattdessen räumen sie dem Ziel, die Ersten zu sein, Vorrang vor allem anderen ein.

Schreiben Sie tim.higgins@wsj.com