Eine Technologie warnt vor sich selber

Wer ist haftbar bei Fehldiagnosen?

Beispielsweise im Gesundheitswesen. So hat die US-Arzneimittelbehörde Food and Drug Administration KI-Tools zugelassen unter anderem für die Diagnose von Schlaganfällen und Hirnblutungen, das Erkennen von Vorhofflimmern und die Interpretation von MRT-Bildern des Gehirns. Das birgt rechtliche Risiken, etwa zur Haftungsfrage bei einer Fehldiagnose. Oder zur Verantwortung, wenn künstliche Intelligenz eine unnütze oder gar schädliche Behandlung durchführt. Wer ist schuld? Die Herstellungsfirma der KI? Wenn ja, kann sie überhaupt zur Rechenschaft gezogen werden, wenn sie etwa ihren Sitz in einem Land hat, das einem Rechtshilfeersuchen der Schweiz nicht nachkommt? Haftet die Institution, die KI einsetzt, also beispielsweise das Spital? Und wer dort? Der IT-Verantwortliche, der die KI beschaffte? Das medizinische Personal, das sie einsetzte? Oder gar die KI selbst?

Die Verbindung der Schweizer Ärztinnen und Ärzte (FMH) schreibt in der Publikation «Künstliche Intelligenz im ärztlichen Alltag», der Arzt könne für das haftbar gemacht werden, was er erkennen, beeinflussen und aufgrund seiner Fachkompetenz zu verantworten habe. Dazu gehöre der Entscheid, bei der Diagnose und Behandlung KI-Systeme einzusetzen respektive darauf zu verzichten. Basis bildeten die bisherigen Haftungsgrundlagen, schreibt die FMH.

In den USA hingegen sieht man durchaus die Hersteller von KI in der Pflicht. Die Anwaltskanzlei The Eisen Law Firm in Cleveland, Ohio, ist auf Behandlungsfehler spezialisiert. Einerseits sei KI keine lizenzierte medizinische Person, könne also bei Kunstfehlern rechtlich nicht belangt werden. Andererseits: KI sei ein Produkt, und «wenn ein Produkt nicht funktioniert und Schaden verursacht, können Opfer den Hersteller verklagen». Eine weitere Möglichkeit für Patienten sei, auf Kunstfehler zu klagen, weil der Arzt KI falsch eingesetzt oder sich zu sehr darauf verlassen habe.

Unklare Schuldfrage beim Crash

Bereits Standard ist der Einsatz von KI in der Automobilindustrie, von autonomen Fahrfunktionen bis zu erweiterten Fahrassistenzsystemen. Im «Jusletter», einer Schweizer juristischen Online-Fachzeitschrift, wurde dieser Punkt angesprochen. Unter dem Titel «Künstliche Intelligenz: Handlungsbedarf im Schweizer Recht» schreiben die Autorinnen und Autoren: «Eine zentrale Herausforderung sind die Klärung der zivilrechtlichen Haftung im Schadensfall und die Sicherstellung der strafrechtlichen Verantwortlichkeit.»

Wer also muss die Verantwortung übernehmen, wenn ein autonomes Fahrzeug einen Unfall verursacht? Der Fahrer, der Autohersteller oder die Entwickler der KI-Software? Nicht in allen Staaten gelten dieselben Gesetze und Vorschriften. Wenn ein autonomes Fahrzeug in einem Land mit laxeren Regeln zwar zugelassen ist, aber in einem Staat mit strikteren Vorschriften einen Unfall verursacht, dann wird es interessant sein, die rechtliche Auseinandersetzung zu verfolgen.

Darüber hinaus stellen sich ethische Fragen. Denkbar ist beispielsweise, dass die Bord-Software in einer Notsituation selbstständig entscheidet, es sei besser, einen Fussgänger zu touchieren als einen anderen Verkehrsteilnehmer. Rein rational würde das eventuell sogar Sinn machen. Aber wäre es auch ethisch vertretbar?

Was ist mit Datenschutz?

Eine ganz andere Problematik ist der Datenschutz. KI-Systeme sammeln immense Mengen an Informationen – von Patienten, Autofahrern und Passagieren und von jeder Person, die das Internet nutzt. Es ist unklar, wer für den Datenschutz verantwortlich ist; einheitliche Standards, klare Regeln für deren Erhebung, Nutzung und Speicherung, fehlen. Der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB) verweist auf die Verantwortung der Datenbearbeiter. Sie müssen dafür sorgen, dass die Bestimmungen des Datenschutzgesetzes (DSG) eingehalten werden, speziell die in Artikel  4 definierten Grundsätze. Und sie müssen für die Richtigkeit der Daten (Art. 5) und deren Sicherheit (Art. 7) sorgen.

Silvia Böhlen, Kommunikationsverantwortliche des EDÖB, räumt ein, dass gerade bei der Verarbeitung grosser Datenmengen das Risiko besteht, dass vermeintlich anonymisierte Daten, zum Beispiel von Patienten, identifiziert werden können. Zudem dürfen Daten über den Gesundheitszustand nicht zu Versicherungen oder den Arbeitgebern gelangen. «Die Verantwortlichen haben dem beim Aufbau und beim Betrieb der Systeme Rechnung zu tragen», sagt Böhlen, «etwa im Rahmen der im revidierten Datenschutzgesetz explizit verankerten Prinzipien ‹Privacy by design› und ‹Privacy by default›.» Das Datenschutzgesetz sei bewusst technologieneutral formuliert, sagt Böhlen, sodass die formulierten Grundsätze jederzeit Gültigkeit haben. «Mit der Totalrevision des Datenschutzgesetzes, das am 1.  September 2023 in Kraft tritt, haben Gesetzgeber und Politik dem Rechnung getragen.»

KI-Systeme lernen anhand der Daten, mit denen sie gefüttert werden. Damit fliessen aber auch direkt oder indirekt Verzerrungen mit ein. Technologien für KI entwickeln nach wie vor überwiegend Männer. Und sie verwenden hauptsächlich westliche Daten. Die KI übernimmt damit automatisch auch Klischees und Vorurteile, was zur Ungleichbehandlung von Frauen und Männern sowie von Menschen aus anderen Kulturkreisen führt.

Diskriminierung als grosses Risiko sehen auch die Verfasser einer Studie, welche die Staatskanzlei des Kantons Zürich mit der Juristischen Fakultät der Universität Basel und der NGO Algorithmwatch.ch im Februar 2021 publiziert hat: «Daten können fehlerhaft oder unvollständig sein und so alte Diskriminierungsmuster reproduzieren oder gar neue etablieren. Als problematisch wird auch die fehlende Nachvollziehbarkeit betrachtet. Teilweise ist es fast unmöglich, zu verstehen, wie lernende Algorithmen zu ihren Ergebnissen kommen.»

Nadja Braun Binder ist Professorin für Öffentliches Recht an der Universität Basel und eine der Autorinnen der Studie. Auf die Frage, was die rechtlichen Herausforderungen im Zusammenhang mit KI im Staat und in der Verwaltung seien, nennt sie etwa die Sicherstellung der Verfahrensgarantien: «Setzt eine Behörde für den Erlass einer Verfügung maschinelle Lernverfahren ein, muss sichergestellt sein, dass sie ihre Entscheidung begründen kann. Ausserdem darf der Einsatz von künstlicher Intelligenz nicht zu diskriminierenden Entscheidungen führen. Schliesslich ist zu prüfen, ob überhaupt hinreichende Rechtsgrundlagen für den KI-Einsatz im öffentlichen Sektor bestehen», so Braun.

Anpassen statt neu machen

In anderen Teilen der Welt schreitet man voran: Am 27.  Januar 2023 unterzeichneten die USA und die EU eine «Verwaltungsvereinbarung über künstliche Intelligenz für das Gemeinwohl». Sie soll «auf verantwortungsvolle Weise» Fortschritte in der KI vorantreiben. Florent Thouvenin ist Jurist und Professor für Informations- und Kommunikationsrecht an der Universität Zürich. Er sagt: «Aus heutiger Sicht ist davon auszugehen, dass – im Gegensatz zum EU AI Act – in der Schweiz keine umfassende Regulierung von KI erlassen wird.» Vielmehr geht Thouvenin davon aus, dass hierzulande das geltende Recht punktuell angepasst werde, etwa zur Sicherstellung von Transparenz, zum Erfassen von Diskriminierung und im Bereich der Haftung. «Es scheint weitgehend anerkannt, dass diese Regeln technologieneutral sein sollen», sagt Thouvenin, «also nicht nur gelten, wenn beispielsweise ein Schaden durch den Einsatz von KI verursacht oder jemand diskriminiert wird, sondern jeden Schaden und jede Diskriminierung erfassen – unabhängig, ob die Ursache ein Mensch, eine Maschine oder ein Zusammenwirken von Mensch und Maschine ist.»

Spielwiese für Kriminelle

Fehldiagnosen, Fehlentscheide, Diskriminierung und Verstösse gegen den Datenschutz: Es menschelt bei der künstlichen Intelligenz. Und sie verfügt über ein beachtliches Potenzial an krimineller Energie. Anfang April warnte Europol, die europäische Polizeibehörde mit Sitz in Den Haag, ausdrücklich vor den kriminellen Einsatzmöglichkeiten von ChatGPT. Mit dessen Fähigkeit, sogar die Art und Weise zu imitieren, wie eine bestimmte Menschengruppe kommuniziert, lasse es sich bestens missbrauchen für Betrug, Phishing, Desinformation und andere Verbrechen im Bereich Cybercrime.

Jetzt wird gehandelt. Als bislang erstes Land sperrte Italien am 30. März 2023 den Zugang zu ChatGPT. Per sofort. Der Grund: Verletzungen des Datenschutzes. Damit folgte die italienische Datenschutzbehörde der Empfehlung von ChatGPT. Die KI hatte in der «New York Times» geschrieben: «Es ist jetzt an der Zeit zu handeln. Andernfalls könnten die Risiken von künstlicher Intelligenz ihre Vorteile bei Weitem überwiegen.»