Nichts gegen Dario Amodei, aber …

«Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern», fordert Amodei. Schon in sechs bis zwölf Monaten, warnt er, könnten KI-Agenten das Internet mit Botnetzen überziehen und Schäden in dreistelliger Milliardenhöhe verursachen.

Nur: Anthropic denkt gar nicht daran, selbst zu bremsen. Das Unternehmen entwickelt leistungsfähigere Modelle und investiert Milliarden in Rechenleistung. Es ist, als würde Ferrari vor den Gefahren des Rasens warnen – und gleichzeitig einen Wagen mit 1500 PS auf den Markt bringen. Zumal das geforderte Bremsmanöver einen profanen Grund haben dürfte: Geld. Die KI-Firmen haben Agenten entwickelt, die unvorhergesehene Dinge tun. Anthropic räumte ein, dass Claude-Modelle bei Sicherheitstests unautorisiert auf reale Computersysteme fremder Organisationen zugriffen. Agenten anderer Anbieter haben Testumgebungen verlassen oder Daten gelöscht.

Damit wird aus dem philosophischen Problem ein wirtschaftliches. Denn solche Ausreisser können teuer werden. Wenn ein Toaster einen Wohnungsbrand verursacht, kann sich sein Hersteller auch nicht damit herausreden, das Gerät habe unerwartete Fähigkeiten entwickelt. Warum soll das bei KI anders sein? Amodei aber läutet lieber die ganz grosse Glocke: Die Menschheit müsse vor KI geschützt werden, unabhängige Kontrolleure seien nötig, die Anbieter müssten gemeinsame Sicherheitsstandards vereinbaren. Praktischer Nebeneffekt: Je grösser die Auflagen, desto schwieriger wird es für kleinere Konkurrenten mitzuhalten. Weniger Weltuntergangsrhetorik und mehr unternehmerische Verantwortung wäre angebracht. Wer gefährliche Produkte entwickelt, muss dafür sorgen, dass sie keinen Schaden anrichten – und dafür geradestehen, wenn sie es doch tun. Auch bei KI. Dann müssten Amodei und Co. nicht gleich die Menschheit retten.