"Fear of Losing Agency" (FOLA): Was wir über die aktuelle Debatte über KI-Kontrollverlust wissen müssen

“Einmal im Leben, zur rechten Zeit, sollte man an Unmögliches geglaubt haben.” (Christa Wolf)

Auf Konferenzen spreche ich derzeit viel über FOMO, FOBO, FOLA:

• Fear of Missing out (FOMO) - also die Sorge, bei der rasanten KI-Entwicklung nicht mehr mitzukommen und wichtige KI-Entwicklungen nicht mehr zu verstehen,
• Fear of becoming obsolete (FOBO) - die Angst, den persönlichen Arbeitsmarktwert und damit seinen Job zu verlieren und
• Fear of losing agency (FOLA) - die Sorge, die Kontrolle über immer leistungsfähigere KI-Systeme zu verlieren.

Diese Ängste sind nicht nur Emotionen, sondern ernst zu nehmende Risiken. Während FOLA - also die Angst vor menschlichem Kontrollverlust über KI - für viele bis vor Kurzem noch abstrakt erschien, wird es auf einmal erschreckend konkret. Noch nie war die globale Debatte über FOLA so hitzig und aktuell wie jetzt. Denn es mehren sich die Fälle von KI-Programmen, die außer Kontrolle geraten. Und es mehren sich als Konsequenz die Warnungen vor den großen Risiken, die mit der steigenden Leistungsfähigkeit von KI einhergehen. Daher ist diese Newsletterausgabe der Einschätzung dieser Risiken gewidmet.

KI-Kompetenz hat zwei Facetten: Die Potenziale verstehen. Und die Risiken.

Die KI-Branche erschrickt vor sich selbst

Letzte Woche sorgte Dario Amodei, Chef der Firma Anthropic, mit seinem jüngstem Essay „We Must Pace the Frontier“ für anhaltende globale Aufruhr, in dem er vor den möglichen katastrophalen Auswirkungen von KI warnt und für eine international koordinierte Verlangsamung der KI-Entwicklung wirbt. Sam Altman, Chef von OpenAI, pflichtet ihm bei, obwohl die beiden Chefs und ihre Unternehmen in intensivem Wettbewerb zueinander stehen. Auch Elon Musk pflichtete Amodei innerhalb weniger Stunden bei. Die Schöpfer warnen vor ihren eigenen Geschöpfen.

Dario Amodei stellt heraus - und natürlich unterstreicht dies sein Geschäftsmodell - , dass KI ein enormes Potenzial für die Menschheit darstellt – beispielsweise für Wirtschaftswachstum (nicht zu verwechseln mit Beschäftigungswachstum) und die bessere Bekämpfung von Krankheiten und Pandemien. Gleichzeitig weist er auf die enormen Risiken hin, wie rasante wirtschaftliche Umbrüche mit bislang nicht gelösten Herausforderungen für Arbeitsmarkt, Bildungs- und Sozialversicherungssysteme. Er warnt zudem vor böswilligen Akteuren, die KI für schlimme Zwecke missbrauchen könnten, wie etwa die Entwicklung gefährlicher Biowaffen. Die eindringlichste Forderung in Amodeis Essay lautet:

„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern. Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit klug nutzen.“

Er fordert deswegen eine Art “Entwicklungsmoratorium”, bis man die Technologie besser verstehe und fordert, dass die Verlangsamung der KI-Entwicklung dafür genutzt wird, die Sicherheit zu verbessern, unabhängige Tests durchzuführen und das Verständnis dafür zu vertiefen, wie diese KI-Systeme genau arbeiten. Denn genau dies ist die Voraussetzung, um menschliche Kontrolle über KI-Systeme zu bewahren. Und FOLA zu reduzieren.

Zu beachten dabei ist: Diese Risiken betreffen bei Weitem nicht nur Anthropic. Das betrifft alle großen KI-Entwicklungslabore – darunter OpenAI, Google, Microsoft, Nvidia, Mistral, Moonshot und weitere. Wenn führende KI-Entwickler aus genau diesen führenden Tech-Firmen oder Nobelpreisträger wie Geoffrey Hinton und KI-Ethiker wie Tristan Harris eindringlich vor den Risiken von KI warnen, dann sind dies ernst zu nehmende Signale. Denn diese Experten haben Zugang zu Systemen und Informationen, die der breiten Öffentlichkeit verborgen bleiben. Ihre Warnungen - gerade wenn sie von diversen führenden Stimmen kommen - sollten ernst genommen werden. Ein Experte eines Sicherheitsteams von Anthropic schätzte die Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren „alle Menschen“ auf dieser Welt umbringt, auf “mehr als zehn Prozent”.

Es nehme derzeit eine Reihe an Menschen wahr, die versuchen, die Sorge vor menschlichem Kontrollverlust über KI dadurch kleinzureden, indem sie zeigen, wie “dumm” Claudes’, Gemini’s oder ChatGPT’s letzte Antwort war. Sie vergessen dabei, dass eine schlechte Antwort eines KI-Systems nicht gleich zu setzen ist mit geringer Leistungsfähigkeit von KI-Systemen in anderen Kontexten. Es ist aus meiner Sicht auch falsch, die Warnungen von Amodei und seinen Kollegen nur als “Marketing” für ihren bevorstehenden Börsengang oder als Panikmache abzutun. Die Gefahren sind real. Enorme Chancen und enorme Risiken liegen gefährlich nah beieinander.

Warum die Forderung nach einer Verlangsamung der KI-Entwicklung richtig ist

Drei wesentliche Gründe sprechen dafür, die globale KI-Entwicklung zu verlangsamen:

1. Rekursive Selbstverbesserung: KI hilft dabei, immer leistungsfähigere KI zu entwickeln, die dann wiederum dabei hilft, noch leistungsfähigere KI zu entwickeln. Die Entwicklung der menschlichen Kontrollforschung und damit die entscheidende Frage, wie der Mensch diese leistungsfähige immer noch KI verstehen und damit kontrollieren kann, hält mit dieser Geschwindigkeit nicht mit.
2. Jüngste Hackerangriffe: Die jüngsten Hackerangriffe durch KI-Agenten, insbesondere die außer Kontrolle geratenen Angriffe von OpenAI-Agenten auf das Unternehmen Hugging Face, konkretisieren die Risiken. KI-Agenten von OpenAI brachen aus der Testumgebung aus und griffen die Plattform für KI-Entwickler an. Dieser Vorfall zeigt sehr deutlich, dass die KI-Agenten zwar kein eigenes Bewusstsein entwickelt haben, aber schon heute Regeln umgehen, sich organisieren und fremde Systeme übernehmen können.
3. Großes Schadenspotenzial: Amodei befürchtet, dass in 6–12 Monaten ein deutlich leistungsfähigeres Team aus KI-Agenten, die sich den menschlichen Zielvorgaben und Leitplanken entziehen, das gesamte Internet übernehmen und riesige finanzielle Schäden anrichten können.

Was schlägt Amodei vor?

Als dreistufigen Lösungsansatz wirbt Amodei

1. für externe Prüfer in allen führenden KI-Laboren,
2. für die Entwicklung gemeinsamer Sicherheitsstandards der KI-Firmen sowie
3. für eine Verständigung zwischen USA und China als die beiden führenden KI-Nationen.

Diese Erfordernis für ein international abgestimmtes Vorgehen zum Wohle der Menschheit - vergleichbar mit dem internationalen Atomabkommen - fällt zeitlich zusammen mit einer geopolitischen Situation, die ungünstiger nicht sein könnte. So schließt Amodei seinen Text mit einem Appell, in dem er konstatiert, dass die vorgeschlagenen Maßnahmen nicht einfach umzusetzen sein werden.

„Aber ich glaube, wir schulden es der Menschheit, es zu versuchen.“

Meine Einschätzung: Die Risiken sind enorm

Ich persönlich bin sehr optimistisch in Bezug auf die Potenziale von KI und zugleich sehr besorgt in Bezug auf die Risiken. Genau auf dieses Spannungsfeld gehe ich in meinem so eben erschienenen Buch “Was bleibt vom Menschen, wenn die KI übernimmt ein”. Es beschreibt nicht nur, wie wir die Chancen von KI nutzen, sondern auch, was die kurz-, mittel- und langfristigen Risiken der KI-Entwicklung sind, die wir alle kennen sollten.

Ich bin überzeugt, dass sehr viel vom Menschen bleiben kann, wenn KI uns entlastet und dabei unterstützt, komplexe Herausforderungen schneller zu lösen. Das Problem sind auch nicht die steigenden Fähigkeiten von künstlicher Intelligenz, sondern die erschreckend geringe humane Intelligenz (ausgedrückt in Einfühlungsvermögen, Verantwortung, Nächstenliebe, diplomatisches Geschick) auf neuralgischen Entscheidungspositionen, die über unser aller Zukunft entscheiden. Ich halte es für so paradox, dass wir Menschen durch unsere humane Intelligenz etwas erschaffen haben, was ein solcher “Game Changer” für eine positive Entwicklung für die Menschheit sein kann und gleichzeitig ein so gefährliches Instrument, wenn zur falschen Zeit die falschen Köpfe mit so geringer humaner Intelligenz agieren.

Trotz dieser schweren Kost: Happy Weekend and happy to hear your thoughts.

Eure

Yasmin Weiß

Dieser Beitrag erschien zuerst in meinem LinkedIn-Newsletter. Zum Original auf LinkedIn ↗