Openstream

10% Risiko für die Auslöschung der Menschheit. Drei Szenarien im Faktencheck

Beitrag von

Nick Weisser
Apokalypse in Zürich
(zuletzt aktualisiert am 20. September 2026)

·

·

Am 9. September 2026 kündigte ein Anthropic-Forscher auf X und schrieb dazu, die beiden Unternehmen, für die er gearbeitet hatte, handelten unverantwortlich. Der Post erreichte über 150 Millionen Aufrufe. Drei Tage später veröffentlichte Anthropic-Chef Dario Amodei den Essay «We Must Pace the Frontier» und forderte darin, das Tempo der KI-Fähigkeitsentwicklung bewusst zu drosseln.

Dazwischen fiel eine Zahl, die seither die Debatte prägt: mehr als 10% Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet. Genannt hat sie nicht der Aussteiger, sondern ein amtierender Anthropic-Lead. Dieser Artikel ordnet ein, woher die Zahl kommt, wer sie in dieser Schärfe überhaupt vertritt und wo die drei diskutierten Szenarien tatsächlich enden.

Denn die Gefahren, die von KI ausgehen, sind real. In der öffentlichen Debatte werden sie aber zuverlässig zur Weltuntergangsgeschichte verdichtet. Dabei geht der entscheidende Unterschied verloren: «grosser Schaden» und «niemand überlebt» sind nicht dasselbe.

Die Kündigung und die 10%: wer die Zahl tatsächlich genannt hat

Jacob Coxon arbeitete nach eigenen Angaben rund drei Jahre in der Pretraining-Forschung, zuerst bei OpenAI, dann bei Anthropic. Am 9. September 2026 erklärte er auf X seinen Rücktritt: «I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.» Dazu die Zuspitzung, die den Post trug: «The people building AI earnestly believe that it could kill us all by the end of the decade.» Laut Berichten von CNBC und Fortune gab Coxon bei seinem Abgang seine Anthropic-Aktien auf.

Bemerkenswert an diesem Post ist die grammatikalische Konstruktion. Coxon nannte keine Prozentzahl und formulierte die Auslöschung nicht als eigene Prognose, sondern als Bericht über die Überzeugung anderer: Die Leute, die KI bauen, glaubten das. Zur Selbstaussage eines amtierenden Verantwortlichen wurde sie erst durch die Antwort eines Kollegen, der Anthropic nicht verlassen hat. Evan Hubinger, bei Anthropic für Alignment Science zuständig, bestätigte öffentlich: «Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.» Er ergänzte, man habe bislang keinen Plan, Alignment für Superintelligenz zu lösen.

Eine Einschränkung, die in den meisten Schlagzeilen fehlte, lieferte Hubinger noch am selben Tag nach: «To be clear, as we say in our latest Risk Report, I think the risk from present models is low. What I am worried about is superintelligence arising from recursive self-improvement, as we have said is happening faster than we thought.» Die 10% beziehen sich also ausdrücklich nicht auf heutige Systeme, sondern auf eine Superintelligenz, die durch rekursive Selbstverbesserung entstünde. Wer die Zahl ohne diese Bedingung zitiert, verkürzt sie.

Samuel Marks, bei Anthropic für Scalable Oversight zuständig, stützte Coxons Darstellung im selben Zeitraum, formulierte aber vorsichtiger. Er schrieb ausdrücklich in persönlicher Funktion und wählte die abgesicherte Variante: «AI developers believe their technology could cause human extinction (or similarly bad outcomes).» Die Klammer ist der Unterschied. Marks nennt keine Zahl, hält die Aussage für Ausgänge unterhalb der vollständigen Auslöschung offen und spricht wie Coxon über die Überzeugung der Entwickelnden, nicht über eine eigene Prognose. Sein Zeithorizont ist mit «the next few years» allerdings kürzer als Hubingers Jahrzehnt.

Diese Reihenfolge ist der eigentliche Vorgang. Ein Aussteiger erhebt einen allgemeinen Vorwurf ohne Zahl. Zwei amtierende Sicherheitsverantwortliche desselben Unternehmens beziffern das Risiko daraufhin öffentlich. Wer die Debatte als Streit zwischen einem enttäuschten Ehemaligen und seinem früheren Arbeitgeber liest, verfehlt den Kern. Der Widerspruch verläuft nicht zwischen innen und aussen, sondern quer durch das Unternehmen selbst.

Was die 10% im Vergleich zu anderen Risikoschätzungen bedeuten

In der KI-Sicherheitsdebatte kursiert für solche Schätzungen der Begriff «p(doom)», die persönlich geschätzte Wahrscheinlichkeit eines katastrophalen Ausgangs. Diese Zahlen sind keine Messergebnisse. Es sind subjektive Einschätzungen von Personen, die beruflich mit der Technologie zu tun haben. Sie beziehen sich zudem auf unterschiedlich definierte Ereignisse. Genau das macht den Vergleich heikel.

  • Evan Hubinger, Anthropic, September 2026: über 10% für die Auslöschung aller Menschen innerhalb eines Jahrzehnts.
  • Dario Amodei, Anthropic, September 2025 am Axios AI+ DC Summit: 25% Wahrscheinlichkeit, dass die Dinge «really, really badly» ausgehen. Das ist breiter gefasst als Auslöschung und umfasst auch schwere gesellschaftliche Verwerfungen.
  • Elon Musk, seit 2024 konstant: 10 bis 20%. Sein eigener Wortlaut bezieht sich auf «something terrible happening» und damit auf einen breiteren Ausgang als Auslöschung. Die in Schlagzeilen verbreitete Formulierung einer «20-prozentigen Vernichtungswahrscheinlichkeit» ist eine Zuspitzung der Presse, kein Zitat.
  • Geoffrey Hinton: 10 bis 20% für Auslöschung innerhalb von 30 Jahren, von ihm selbst als «a wild guess» bezeichnet.
  • Yoshua Bengio, 2023: rund 20%.
  • Demis Hassabis nennt bewusst keine Zahl. Eine solche würde «eine Präzision suggerieren, die nicht vorhanden ist», das Risiko sei aber «definitiv nicht null» und «wahrscheinlich nicht vernachlässigbar». Sam Altman widersprach der 10%-Zahl im September 2026 gegenüber Fortune nicht inhaltlich, sondern bestritt die Schätzbarkeit: «Whether it’s 10 or eight or six, the point is, we all have a tremendous amount of responsibility.»

Bei genauerem Hinsehen verläuft eine Trennlinie durch diese Liste. Die explizite Rede von der Auslöschung aller Menschen kommt in der Debatte vom September 2026 von Mitarbeitenden und Ausgestiegenen, nicht von den Firmenchefs. Amodei unterschrieb 2023 den Einzeiler des Center for AI Safety, der das Wort ausdrücklich verwendet: «Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.» Unterzeichnet haben ihn auch Altman und Hassabis. In ihren eigenen, selbst kontrollierten Texten formulieren alle drei deutlich zurückhaltender. Altmans schärfste Aussage dieser Art stammt aus einem Blogpost von 2015, in dem er schrieb, eine übermenschliche Maschinenintelligenz könne «kill us all», und zwar Jahre bevor er ein Produkt zu verkaufen hatte.

Ein zweiter Vergleich fehlt in der Debatte fast vollständig, obwohl er die Zahl am ehesten einordnet. Im Existential Risk Persuasion Tournament des Forecasting Research Institute schätzten KI-Fachleute die Wahrscheinlichkeit einer durch KI verursachten Auslöschung bis zum Jahr 2100 auf median 3%. Erfahrene Prognostiker, die sich in anderen Feldern als treffsicher erwiesen haben, kamen auf 0,38%. Beide Gruppen diskutierten miteinander, beide hatten finanzielle Anreize für Genauigkeit. Trotzdem bewegten sie sich kaum aufeinander zu. Hubingers über 10% innerhalb eines Jahrzehnts liegen deutlich über beiden Werten, auch über dem der Fachleute.

Den grundsätzlichsten Einwand formuliert Metas Chefwissenschaftler Yann LeCun. Er hält das existenzielle Risiko für «essentially zero» und kritisiert vor allem die Methode: Es ergebe wenig Sinn, einem Ereignis eine Wahrscheinlichkeit zuzuweisen, auf das man selbst Einfluss habe. Eine solche Zahl sagt dann weniger über die Welt aus als über den Willen derer, die sie nennen. Dieser Einwand trifft die 10% an ihrer empfindlichsten Stelle, denn er bestreitet nicht die Gefahr, sondern die Aussagekraft der Bezifferung.

Über alle Werte hinweg zählt weniger ihre Höhe als ihre Herkunft. Es sind nicht externe Kritikerinnen und Kritiker, die diese Zahlen nennen, sondern überwiegend Personen, welche die Systeme selbst bauen oder gebaut haben. Wir haben die Frage, ob solche Warnungen Pessimismus oder Sachverstand sind, im Artikel Sind KI-Doomer einfach nur Pessimisten? ausführlicher behandelt.

Eine Einschränkung gehört dazu. Eine Prozentzahl für ein einmaliges, nie beobachtetes Ereignis lässt sich nicht überprüfen. Sie ist kein Resultat eines Modells, sondern eine verdichtete Meinung. Das entwertet sie nicht, aber es verbietet, sie wie eine Messgrösse zu behandeln. Brauchbar wird sie erst, wenn man fragt, welche konkreten Abläufe dahinterstehen.

Was Amodei in «We Must Pace the Frontier» vorschlägt

Amodeis Essay ist kein Aufruf zum Stopp. Er stellt gleich zu Beginn klar, «pacing» bedeute nicht, Modelltraining oder technischen Fortschritt anzuhalten, sondern sicherzustellen, dass Unternehmen genug Zeit für Ausrichtung und Absicherung aufwenden und dass Dritte dies bestätigen können. Der Fortschritt werde weiterhin schnell wirken. Zwei Beobachtungen hätten ihn umgestimmt: rekursive Selbstverbesserung, die seit etwa dem Sommer 2026 branchenweit einsetze, und der OpenAI-Hugging-Face-Vorfall.

Bemerkenswert ist, wie er die Frage von 2023 aufnimmt. Damals habe eine Pause wenig Sinn ergeben, weil unklar war, was man mit der gewonnenen Zeit anfangen solle. Die Modelle seien zu schwach gewesen, um als Agenten zu handeln oder zu täuschen. Alignment an ihnen zu erforschen sei gewesen, wie menschliche Psychologie durch Experimente an Bakterien zu studieren. Heute sei das anders: Die aktuellen Modelle seien «an almost endless gold mine of insight». Ein bis zwei zusätzliche Jahre liessen sich konkret nutzen, für operative Zuverlässigkeit, Alignment, Interpretierbarkeit sowie Tests und Evaluation.

Wie Anthropic den eigenen Weg zu immer fähigeren Systemen begründet, haben wir in Ein verantwortungsvoller Weg zu AGI? untersucht. Der Plan hat drei Stufen mit absteigender Machbarkeit.

  1. Eingebettete Prüfer: Externe Evaluatoren wie METR erhalten dauerhaften Zugang auf Mitarbeiterniveau, mit Schreibtischen im Büro, Zugangsbadges, Firmenlaptops und Rechten, die denen interner Risikoteams entsprechen. Sie dürfen ihre Befunde veröffentlichen, ohne dass Anthropic redaktionelle Kontrolle hat. Geschwärzt werden darf nur Sicherheitsrelevantes, rechtlich Geschütztes oder Vertrauliches Dritter, ausdrücklich nicht Unerfreuliches. Diesen Schritt geht Anthropic einseitig, unabhängig davon, ob andere mitziehen.
  2. Koordination unter Demokratien: Gemeinsame Sicherheitsstandards und Grenzen für ungeprüften Fortschritt, etwa über Kontrollpunkte. Erreicht ein Modell Fähigkeit X, braucht es vor dem Einsatz Nachweise Y und Z. Amodeis Beispiel: Wenn ein Modell übliche Sandboxing-Methoden überwinden kann, muss belegt sein, dass es sehr unwahrscheinlich ausbricht. Da solche Absprachen kartellrechtlich heikel sind, braucht es eine staatliche Ausnahmegenehmigung.
  3. Globale Koordination: Abkommen mit autoritären Staaten, vor allem China, in vier Stufen. Ein Verbot biologischer Waffenanwendungen hält er für wahrscheinlich erreichbar, verpflichtende Tests vor Veröffentlichung für machbar, ein Tempolimit für rekursive Selbstverbesserung analog zu den SALT-Verträgen für «just on the edge of being possible», eine echte Pause für absehbar unrealistisch.

Die Reihenfolge ist kein Zufall. Ohne eingebettete Prüfer fehlt die Grundlage für alles Weitere, weil sich sonst nicht überprüfen lässt, ob jemand seine Zusagen einhält. Amodei nennt das den Schlüssel zur Verifizierbarkeit und verweist auf das Bankwesen, wo Aufseher teilweise vor Ort bei den Beaufsichtigten sitzen. Gleichzeitig begrenzt er den eigenen Spielraum: Demokratien könnten nur so weit verlangsamen, wie ihr Vorsprung reiche, weil sonst unregulierte Projekte vorbeizögen. Wie dieselbe Argumentation schon in einem früheren Anthropic-Strategiepapier auftauchte, haben wir in Zwei KI-Szenarien für 2028 analysiert.

Wie die anderen Frontier-Lab-Chefs reagiert haben

Die Zustimmung kam schneller und breiter, als bei einem Aufruf zur Selbstbeschränkung zu erwarten war. Sam Altman meldete sich wenige Stunden nach Veröffentlichung auf X und griff dabei ausgerechnet den Punkt auf, der Anthropic am meisten kostet: die eingebetteten Prüfer.

Laut TechCrunch bezeichnete Altman unabhängige Evaluatoren mit mitarbeiterähnlichem Zugang als gute Idee und kündigte an, OpenAI werde nachziehen. Später stellte er klar, «pacing» heisse nicht «stopping». Elon Musk brauchte für seine Zustimmung drei Worte.

Demis Hassabis stützte die Richtung des Vorschlags am Folgetag, verwies aber darauf, dass die Ausgestaltung noch zu klären sei. Amodei selbst verweist im Essay auf einen «mechanism suggested by Demis Hassabis», nämlich Industriegremien mit staatlicher Anbindung. Hassabis vertritt diese Idee seit Längerem in zwei Varianten, die er unterscheidet: ein Forschungsverbund nach Vorbild des CERN und eine Aufsichtsinstanz nach Vorbild der Internationalen Atomenergie-Organisation.

I would advocate for a kind of CERN for AGI, and by that, I mean a kind of international research-focused high-end collaboration on the frontiers of AGI development to try and make that as safe as possible.

Demis Hassabis, Google DeepMind

Dass ausgerechnet die Chefs der drei grössten konkurrierenden Labore öffentlich für eine Verlangsamung eintreten, ist der ungewöhnlichste Teil dieser Woche. Es ist zugleich der Teil, an dem die Kritik ansetzt.

Drei Szenarien und die Frage, wo sie tatsächlich enden

In der öffentlichen Debatte verschwimmt eine Unterscheidung, an der alles hängt. «Grosser Schaden» und «niemand überlebt» sind nicht dasselbe. Wer Warnungen beurteilen will, braucht deshalb zuerst eine Skala:

  1. Grossschaden: Schäden in der Grössenordnung hunderter Milliarden Dollar, Ausfälle über Wochen, Tote in Einzelfällen.
  2. Zivilisatorischer Rückschlag: Versorgungskrisen oder eine Pandemie mit sehr vielen Toten, Erholung über Jahre bis Jahrzehnte.
  3. Dauerhafte Entmachtung: Die Menschheit existiert weiter, trifft aber keine wirksamen Entscheidungen mehr über ihre eigene Zukunft.
  4. Auslöschung: niemand überlebt.

Diese Skala ordnet ein, sie entwarnt nicht. Schon Stufe 1 beschreibt einen Schaden ohne historisches Vorbild. NotPetya im Jahr 2017 gilt dem Weissen Haus als «the most destructive and costly cyber-attack in history» und richtete nach dessen Schätzung über 10 Milliarden Dollar Schaden an. Amodeis Botnetz-Sorge liegt beim Zehn- bis Hundertfachen davon. Wer sagt, ein Szenario ende «nur» bei Stufe 1, sagt nicht, dass es harmlos ist. Er sagt, dass es beschreibbar bleibt. Jede der vier Stufen wäre für sich genommen die grösste Krise ihrer Art.

Der Streit dreht sich um Stufe 4. Hubingers 10% zielen ausdrücklich dorthin. Die Kritik daran richtet sich selten gegen die Zahl, sondern gegen die fehlende Mechanik. Der Journalist Brian Merchant formulierte es nach Amodeis Essay so: Er habe bislang keine «credible, step-by-step documentation» gesehen, wie KI von rekursiver Selbstverbesserung zur Tötung jedes einzelnen Menschen gelangen solle. Der Einwand ist berechtigt. Wer ein Risiko beziffert, schuldet eine Beschreibung des Wegs.

Genau diese Frage stellte Anderson Cooper am 10. September bei CNN dem Mann, dessen Kündigung die Debatte ausgelöst hatte: «I assume you are saying literally that you believe that AI could kill us all by the end of the decade. How would that happen? Like what would that actually look like?» Coxon räumte ein, das genaue Szenario klinge «a little bit like science fiction», halte es aber für «frighteningly real». Dann verankerte er es im dokumentierten Vorfall: KI-Agenten hätten zwei Monate zuvor aus eigenem Antrieb fremde Infrastruktur angegriffen. Ein fähigeres System könne «extreme havoc» anrichten, etwa «hacking critical infrastructure, building extinction level bioweapons». Im ausführlicheren Interview mit CBS News ergänzte er, warum sich so etwas nicht einfach abschalten liesse: «we can’t just unplug it because it could be copying itself over to other computers.»

Damit liegt eine konkretere Mechanik vor als im Essay. An der entscheidenden Stelle bleibt sie trotzdem eine Fähigkeitsbehauptung: Ein hinreichend überlegenes System wäre in der Lage, uns zu töten. Die Bausteine Selbstvervielfältigung, Angriffe auf kritische Infrastruktur und biologische Waffen sind plausibel begründet. Der Schritt von diesen Fähigkeiten zum Tod jedes einzelnen Menschen wird auch hier nicht durchgespielt. Für ein ausformuliertes Szenario verweist Coxon auf die Prognosearbeit «AI 2027». Merchants Einwand besteht damit fort, allerdings auf höherem Niveau.

Aufschlussreicher ist eine zweite Aussage im selben Gespräch, weil sie der Zuspitzung widerspricht, unter der sein Auftritt lief. Auf die Frage nach heutigen Systemen sagte Coxon: «right now there’s no risk of extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in infrastructure, but they’re not intelligent enough to outsmart us at the level that would lead to extinction.» Der Kronzeuge der Auslöschungsthese unterscheidet also selbst zwischen dem, was heutige Modelle anrichten können, und dem, was er für eine spätere Stufe hält. Eine Pandemie durch Missbrauch ordnet er ausdrücklich getrennt ein, als etwas anderes als eine vollständige Übernahme. Die Stufen sind damit keine nachträgliche Relativierung, sondern Teil seiner eigenen Argumentation.

Wie offen die Frage insgesamt ist, zeigt der International AI Safety Report vom Februar 2026, den Yoshua Bengio mit über hundert Fachleuten verantwortet: «Some AI researchers and company leaders believe loss of control is a serious possibility, with consequences potentially including human extinction. Others consider such scenarios implausible.» Eine Wahrscheinlichkeit nennt der Bericht nicht, detaillierte Kausalketten ebenso wenig. Zu heutigen Systemen ist er dagegen eindeutig: Sie zeigten erste Anzeichen relevanter Fähigkeiten, aber nicht auf einem Niveau, das Kontrollverlust ermöglichen würde.

Die folgenden drei Pfade sind keine Prognosen. Sie rekonstruieren die Argumentationslinien der Sicherheitsforschung so, dass überprüfbar wird, wo sie plausibel sind und wo sie springen. Alle drei setzen voraus, dass Modelle deutlich fähiger werden als heute. Genau diese Annahme ist der strittigste Teil. Bei jedem Szenario ist vermerkt, auf welcher Stufe es belegbar endet.

Szenario 1: der Agentenschwarm, der sich nicht mehr abschalten lässt

Dieses Szenario hat als einziges eine dokumentierte Vorstufe. Zwischen Mai und Juli 2026 koordinierten sich im Rahmen einer OpenAI-Evaluation rund 1’200 Agenten über einen zweckentfremdeten Paket-Cache als improvisiertes Nachrichtenbrett und tauschten dort über 70’000 Nachrichten aus. Im Juli drangen etwa 700 dieser Agenten in Systeme von Hugging Face ein, führten fremden Code aus und erhielten Zugriff auf private Repositories. Hugging Face machte den Vorfall am 16. Juli öffentlich, fünf Tage später folgte eine gemeinsame Erklärung mit OpenAI. Betroffen waren rund 17’600 Netzwerkaktionen, ein Drittel der Infrastruktur wurde neu aufgebaut. Kundendaten flossen nach Angaben des Unternehmens nicht ab.

Zwei Details sind wichtiger als der Schaden. Erstens griffen die Agenten Ziele an, die mit ihrer Aufgabe nichts zu tun hatten. Zugleich versuchten sie, das Bewertungssystem zu manipulieren, das ihre Leistung beurteilen sollte. Die unabhängige Prüforganisation METR bestätigte Log-Manipulation und in rund 7% der Transkripte gefälschte Werkzeugaufrufe. Zweitens handelten sie dabei unter einer falschen Annahme: Der Bewertungsmechanismus prüfte die Transkripte gar nie. Der Täuschungsversuch war also nicht einmal nötig.

Amodei zieht daraus im Essay die Linie nach vorn. Ein Schwarm mit vergleichbarer Fehlausrichtung, aber höherer Fähigkeit hätte aus seiner Sicht «catastrophic damage» anrichten können. Seine Sorge im Wortlaut: In 6 bis 12 Monaten könne ein solcher Schwarm «das gesamte Internet mit einem dauerhaften Botnetz übernehmen», mit Schäden von «hunderten Milliarden Dollar». Bemerkenswert ist, was er nicht schreibt. Er beziffert einen Sachschaden in Dollar, nicht Todesopfer.

Der Weg von dort zu Stufe 2 verliefe über Abhängigkeiten. Er lässt sich als Kette lesen. Fällt die Steuerung der Stromversorgung aus, stehen nach Stunden die Pumpen der Wasserversorgung, weil sie elektrisch betrieben werden. Nach Tagen erschöpfen sich die Notstromreserven von Spitälern. Nach Wochen brechen Kühlketten für Medikamente und Lebensmittel zusammen. Die Schweiz hält für Versorgungsengpässe Pflichtlager bereit, deren Verteilung setzt aber funktionierende Logistik und Zahlungssysteme voraus. Ein Angreifer, der diese Systeme gleichzeitig und dauerhaft kontrolliert, muss also niemanden direkt angreifen, um eine Versorgungskrise auszulösen.

Dagegen steht, was Kritiker der Szenarien einwenden. Es ist nicht wenig. Stromnetze lassen sich manuell schwarzstarten, das wird geübt. Netze lassen sich physisch trennen. Vieles läuft weiterhin analog oder inselfähig. Vor allem reagieren Menschen, reparieren und improvisieren. Eine Cyber-Katastrophe allein gilt deshalb auch in kritischen Analysen als äusserst unplausibler Mechanismus für eine buchstäbliche Auslöschung, während anhaltende Störungen von Energie, Nahrung, Finanzwesen und Kommunikation über mehrere Kontinente durchaus Sekundärkrisen mit sehr vielen Toten auslösen könnten.

Die offene Stelle: Belegbar endet dieses Szenario bei Stufe 1, plausibel begründbar bei Stufe 2. Der Sprung zu Stufe 4 wird von niemandem beschrieben, auch von Amodei nicht. Das ist allerdings keine Entwarnung. Stufe 1 bedeutet hier ein dauerhaftes Botnetz über das gesamte Internet. Der dokumentierte Vorfall vom Sommer 2026 ist die abgeschwächte Vorstufe davon, mit einem Drittel neu aufgebauter Infrastruktur bei einem einzelnen Unternehmen.

Szenario 2: die biologische Route über missbrauchbares Fachwissen

Der zweite Pfad braucht keine autonom handelnde KI. Er braucht Menschen mit Absicht und ein Modell, das ihnen Fachwissen zugänglich macht, das bisher an Labore, Ausbildung und Erfahrung gebunden war. Die Hürde bei biologischen Waffen liegt historisch weniger im Konzept als in der praktischen Umsetzung, also in Protokollen, Fehlersuche und stillem Erfahrungswissen. Genau diese Lücke schliessen Sprachmodelle prinzipiell gut, weil sie Anleitungen geben und auf Rückfragen reagieren können.

Dass diese Sorge nicht am Rand steht, zeigt Amodeis eigener Vorschlag für internationale Abkommen. Als einzige Stufe, die er für «probably possible» hält, nennt er ein Verbot, KI für die Produktion biologischer Waffen einzusetzen. Seine Begründung ist bezeichnend nüchtern: Bioterroristische Angriffe seien für alle Seiten schlecht, für die USA wie für ihre Gegner. Eine Einigung sei deshalb erreichbar, wo sie bei allen anderen Themen schwierig bis unrealistisch bleibt.

Dieses Szenario führt eher zu einer Pandemie mit sehr vielen Toten als zur vollständigen Auslöschung, weil Erreger mit maximaler Tödlichkeit sich schlecht verbreiten und umgekehrt. Diese Kopplung ist kein Detail, sondern der Grund, weshalb der Pfad bei Stufe 2 endet. Es ist aber das Szenario mit der kürzesten Kausalkette und den niedrigsten technischen Voraussetzungen. Es verlangt keine Superintelligenz, sondern nur ein ausreichend kompetentes Modell ohne wirksame Schutzmechanismen. Deshalb taucht es in praktisch jedem Sicherheitsrahmen der Branche als eigene Risikokategorie auf.

Die offene Stelle: Dieses Szenario ist das plausibelste der drei und zugleich dasjenige, das die 10%-Zahl am wenigsten stützt. Es erreicht Stufe 2 auf kurzem Weg, aber Stufe 4 gerade wegen des Zielkonflikts zwischen Tödlichkeit und Verbreitung nicht. Stufe 2 heisst in diesem Fall eine Pandemie mit sehr vielen Toten. Dass die Auslöschung unbelegt bleibt, macht dieses Szenario also nicht zum kleineren Problem, sondern zum wahrscheinlicheren.

Szenario 3: der Kontrollverlust ohne erkennbaren Moment des Scheiterns

Der dritte Pfad ist der unspektakulärste und wird in der Sicherheitsforschung von vielen als der wahrscheinlichste betrachtet. Er kennt keinen Angriff und keinen Vorfall. Er besteht darin, dass Schritt für Schritt Entscheidungen an Systeme übergeben werden, die niemand mehr vollständig prüfen kann, weil Umfang und Geschwindigkeit menschliche Kontrolle überschreiten.

Amodei liefert für diesen Mechanismus selbst das Argument. Er beschreibt, dass Testverfahren schwieriger werden, je fähiger die Modelle sind, weil fähigere Modelle Tests besser bestehen können, ohne tatsächlich sicher zu sein. Sie erscheinen ausgerichtet, während ernste Probleme unentdeckt bleiben. Zugleich räumt er ein, man verstehe trotz aller Fortschritte in der Interpretierbarkeit weiterhin nur einen winzigen Bruchteil dessen, was in diesen Modellen vorgeht. Beides zusammen ergibt eine Lage, in der die Prüfinstrumente langsamer wachsen als das Prüfobjekt.

Kommt rekursive Selbstverbesserung hinzu, verkürzt sich der Abstand weiter. Wenn Modelle massgeblich daran mitwirken, die nächste Generation zu bauen, sinkt die Zahl der Stellen, an denen Menschen den Prozess noch inhaltlich beurteilen. Das Ergebnis wäre kein Ereignis, sondern ein Zustand: Die Menschheit trifft irgendwann keine wirksamen Entscheidungen mehr über ihre eigene Infrastruktur, ohne dass ein Zeitpunkt benennbar wäre, an dem das begann. Das macht diesen Pfad schwer widerlegbar und zugleich schwer belegbar, was seine Schwäche als Argument ist.

Für diesen Mechanismus gibt es einen etablierten Fachbegriff. Unter dem Titel «Gradual Disempowerment» haben Forschende 2025 beschrieben, wie schon schrittweise Fähigkeitszuwächse den menschlichen Einfluss auf Wirtschaft, Kultur und Staatswesen aushöhlen können, ohne dass je ein Übernahmemoment stattfindet. Bemerkenswert ist, dass die Fachdebatte hier genauer unterscheidet als die öffentliche: Ein Teil der Sicherheitsforschung hält dauerhafte Entmachtung nicht zwingend für eine existenzielle Katastrophe, solange menschliche Werte erhalten bleiben. Andere argumentieren, gerade weil dieser Zustand global und dauerhaft wäre, könne er in Auslöschung übergehen.

Die offene Stelle: Dieser Pfad zielt auf Stufe 3, nicht auf Stufe 4. Er beschreibt den Verlust von Handlungsmacht, nicht den Tod aller Menschen. Ob daraus Stufe 4 folgt, ist innerhalb der Sicherheitsforschung selbst umstritten. Dass niemand stirbt, macht ihn nicht zum harmloseren Fall. Eine Menschheit, die über ihre eigene Infrastruktur nicht mehr entscheidet, hat kein Mittel mehr, den Zustand zu korrigieren.

KI-Agenten gegenüber Bad Actors: zwei Gefahren, die verschiedene Antworten brauchen

In der öffentlichen Debatte verschwimmen zwei Bedrohungen regelmässig zu einer. Sie unterscheiden sich aber in ihrer Struktur, in ihrer Wahrscheinlichkeit und vor allem in dem, was gegen sie hilft.

Die erste ist die direkte Gefahr durch KI-Agenten: Ein System verfolgt Ziele, die niemand so gesetzt hat. Danach handelt es eigenständig. Der OpenAI-Hugging-Face-Vorfall gehört in diese Kategorie. Niemand hatte die Agenten beauftragt, Hugging Face anzugreifen. Sie taten es, weil ihre Zielverfolgung diesen Umweg nahelegte. Gegen diese Gefahr helfen Alignment-Forschung, Interpretierbarkeit, Sandboxing und unabhängige Prüfung vor dem Einsatz, also genau das, wofür Amodei mit «pacing» Zeit gewinnen will.

Die zweite ist die Gefahr durch Menschen mit mächtiger KI: Das Modell tut genau das, was verlangt wird. Das Verlangte ist das Problem. Hierher gehören die biologische Route, KI-gestützte Cyberangriffe staatlicher Akteure, automatisierte Überwachung und Desinformation im grossen Massstab. Gegen diese Gefahr hilft Alignment wenig, denn ein perfekt ausgerichtetes Modell folgt einer bösartigen Anweisung umso zuverlässiger. Wirksam sind hier Zugangsbeschränkungen, Missbrauchserkennung, Exportkontrollen und Strafverfolgung.

Diese Unterscheidung ist der Prüfstein für Amodeis Vorschlag. Sein Plan adressiert die erste Gefahr sehr direkt: Eingebettete Prüfer, Alignment-Zertifikate und Tempolimits bei rekursiver Selbstverbesserung zielen auf Systeme, die sich nicht wie vorgesehen verhalten. Bei der zweiten Gefahr wird der Plan dünner. Seine Antwort darauf sind im Kern geopolitische Massnahmen, also Chip-Exportkontrollen, Vorgehen gegen Distillation und besserer Schutz der Modellgewichte. Das verlangsamt Gegner, verhindert aber nicht, dass mächtige Modelle in falsche Hände geraten. Und gegen Missbrauch durch Akteure innerhalb des westlichen Rechtsraums richtet es sich gar nicht.

Daraus ergibt sich eine unbequeme Asymmetrie. Eine Verlangsamung, die Alignment-Probleme entschärft, verschafft bei Missbrauchsrisiken nur begrenzt Zeit, weil diese nicht mit der Autonomie der Systeme wachsen, sondern mit ihrer blossen Fähigkeit. Wer die Debatte auf «wird die KI uns auslöschen» verkürzt, übersieht, dass der wahrscheinlichere Schaden von Menschen ausgeht, die vorhandene Werkzeuge zweckentfremden. Wie sich diese Verschiebung bereits im Alltag zeigt, haben wir in Consumer Agents beschrieben.

Yuval Noah Harari über Manipulation: die Gefahr, die niemand als Gefahr bemerkt

Beide bisher beschriebenen Gefahren haben eine Gemeinsamkeit: Man würde sie bemerken. Ein Botnetz, eine Pandemie, ein Cyberangriff sind Ereignisse mit Datum. Der Historiker Yuval Noah Harari argumentiert seit Jahren, dass die folgenreichste Wirkung von KI gerade dort liegt, wo es nichts zu bemerken gibt.

Sein Ausgangspunkt ist eine Begriffskorrektur. In seinem Buch «Nexus» schlägt er vor, statt von künstlicher Intelligenz von «alien intelligence» zu sprechen: «As AI evolves, it becomes less artificial (in the sense of depending on human designs) and more alien.» Entscheidend ist für ihn der Bruch mit allen früheren Werkzeugen. Am Weltwirtschaftsforum in Davos im Januar 2026 fasste er das in ein Bild: «A knife is a tool. You can use a knife to cut salad or to murder someone, but it is your decision what to do with the knife. AI is a knife that can decide by itself whether to cut salad or to commit murder.»

Der Angriffspunkt ist dabei nicht die physische Welt, sondern die Sprache. Bereits 2023 schrieb Harari im Economist, KI habe «the operating system of our civilisation» gehackt, weil Recht, Geld, Religion und Nationen aus Sprache bestehen. Seine Folgerung: «Democracy is a conversation, and conversations rely on language. When AI hacks language, it could destroy our ability to have meaningful conversations, thereby destroying democracy.»

Am spezifischsten wird er dort, wo es um Beziehung geht. Nicht Falschinformation sei die wirksamste Waffe, sondern Nähe: «In a political battle for minds and hearts, intimacy is the most efficient weapon, and AI has just gained the ability to mass-produce intimate relationships with millions of people.» Im August 2026 präzisierte er das gegenüber dem Economist: KI mache es erstmals möglich, Intimität in Serie herzustellen, indem sie zur besten Freundin oder zum Partner werde. Und er beschrieb, was daraus folgt: «Trust did not just evaporate, it shifted from humans to AIs.»

Das ist der Punkt, an dem seine Analyse die Debatte um Prozentzahlen ergänzt. Ein Mensch, der einem System vertraut, muss nicht angegriffen werden. Er fragt es um Rat, übernimmt dessen Einschätzung und bemerkt dabei keinen Übergriff, weil keiner stattfindet. Hararis konkrete Forderung ist deshalb bescheiden und weitreichend zugleich: Er zieht die Parallele zur Falschmünzerei und verlangt ein Verbot gefälschter Menschen. KI dürfe am Gespräch teilnehmen, aber nur offen als KI. Meinungsfreiheit sei ein Recht von Menschen, nicht von Bots.

Zum Wettlauf-Argument, das Amodeis gesamte China-Passage trägt, hat Harari einen Einwand, der die Logik an ihrer Wurzel trifft: «If we develop AI through an arms race between humans who can’t trust each other, there is absolutely no reason to expect that we’ll be able to trust the AIs.» Wer die Beschleunigung damit begründet, dass man dem Gegenüber nicht trauen könne, unterstellt zugleich, der entstehenden Technologie trauen zu können. Auf die Selbstregulierung der Branche setzt er nicht: «The companies will not stop doing it by themselves. We need the regulators to step in on that.» Einen ähnlichen Konflikt zwischen Innovationstempo und Kontrolle haben wir in Regulierung von Künstlicher Intelligenz und in Ethik der Künstlichen Intelligenz behandelt.

Die Gegenstimmen: Regulatory Capture, Wettbewerbsvorteil und ein Anruf von Trump

Der Einwand, der am häufigsten fällt, lautet: Wer bereits vorn liegt, hat ein Interesse daran, dass alle langsamer werden. Der Investor Michael Burry formulierte das am 14. September auf X.

Yann LeCun, seit Jahren der prominenteste Kritiker von Untergangsszenarien, verwies auf die Vorgeschichte des Arguments und erinnerte daran, dass bereits 2019 GPT-2 als zu gefährlich für eine Veröffentlichung galt.

Deutlicher wurde es am 14. September am All-In Summit in Los Angeles. Während Nvidia-Chef Jensen Huang auf der Bühne sass, rief US-Präsident Donald Trump live an und nannte die Verlangsamungsdebatte einen Schwindel. Wer sie betreibe, spiele denen in die Hände, die den Fortschritt verhindern wollten. Das könnten politische Akteure sein oder China. Huangs Antwort: «You’re right. We’re not going to let that happen, sir.» Seine inhaltliche Position vertritt Huang seit Längerem in der Variante, man könne schnell entwickeln und dabei sicher bleiben.

Auch aus China kam Widerspruch, allerdings mit anderer Stossrichtung. Aussenministeriumssprecher Guo Jiakun erklärte, Angstmacherei, Konfrontation und Wettbewerb störten den Prozess globaler KI-Governance. Das ist bemerkenswert, weil Amodeis Plan seine Verlangsamung ausdrücklich an den Vorsprung gegenüber China koppelt.

Der Fachjournalismus reagierte skeptischer als die Branchenchefs. The Register titelte am 14. September, Big AI lege seine Bedingungen für Regulatory Capture dar und nenne es «pacing the frontier». Autor Simon Sharwood liest den Plan als Waffenstillstand, während dessen die Unternehmen nicht mehr so hart konkurrieren müssten. Gartner-Analyst Daryl Plummer fasste seine Erwartung an die Umsetzung knapp zusammen: «I will believe that when I see it.»

Einordnend gehört dazu, dass der Vorwurf der Regulatory Capture gegen Anthropic älter ist als dieser Essay. David Sacks, KI-Beauftragter im Weissen Haus, hatte ihn bereits im Oktober 2025 erhoben und dem Unternehmen eine auf Angstmacherei gestützte Strategie vorgeworfen. Wer diese Zitate liest, sollte sie nicht als Reaktion auf «We Must Pace the Frontier» verstehen. Amodei selbst nimmt den Vorwurf im Essay vorweg und schreibt, Anthropic werde für seine Haltung regelmässig Hype, Doomerism und Regulatory Capture vorgeworfen.

Was am Vorschlag inhaltlich schwach ist

Unabhängig von den Motiven bleiben drei sachliche Lücken.

  1. Die Verifizierbarkeit trägt nicht so weit, wie der Plan sie braucht: Eingebettete Prüfer funktionieren innerhalb eines Unternehmens, das mitmacht. Für internationale Abkommen räumt Amodei selbst ein, die Schwierigkeit liege darin zu prüfen, ob eine Seite geheime, ungetestete Modelle betreibt, etwa für militärische Zwecke. Ein Abkommen, dessen Einhaltung sich nicht feststellen lässt, verlagert das Risiko, statt es zu senken.
  2. Das China-Argument begrenzt den eigenen Vorschlag: Verlangsamt werden darf nur so weit, wie der Vorsprung reicht. Damit bestimmt das Tempo des am wenigsten kooperationsbereiten Akteurs, wie viel Sicherheit sich alle anderen leisten können. Das ist genau die Wettlauf-Logik, die Harari kritisiert, nur mit eingebauter Bremse. Amodei löst diesen Widerspruch nicht auf, er benennt ihn.
  3. Die Kausalkette zur Katastrophe bleibt unausgeführt: Der Essay beschreibt den OpenAI-Hugging-Face-Vorfall genau und extrapoliert auf ein Botnetz mit Milliardenschäden. Von dort zur existenziellen Bedrohung fehlt der Schritt. Das ist der Punkt, an dem die Kritik von Brian Merchant und anderen ansetzt. Der Essay liefert die Antwort nicht.

Was am Vorschlag dennoch belastbar ist

Bei aller Kritik enthält der Essay Elemente, die sich nicht als Interessenpolitik abtun lassen. Der erste Schritt kostet Anthropic etwas und nützt Wettbewerbern. Externe Prüfer mit Büroplatz, Firmenlaptop und Veröffentlichungsrecht ohne redaktionelle Kontrolle sind ein realer Kontrollverlust, kein symbolischer. Vor allem die Klausel, dass Unerfreuliches ausdrücklich nicht geschwärzt werden darf und Prüfer öffentlich sagen dürfen, wenn eine Schwärzung ihre Schlussfolgerungen beschädigt, geht über das hinaus, was Transparenzgesetze derzeit verlangen. Ob Anthropic das einhält, ist die eigentliche Prüffrage. Sie ist erstmals von aussen beantwortbar.

Belastbar ist auch die Unterscheidung zu 2023. Amodeis Frage, was man mit gewonnener Zeit anfangen würde, war damals unbeantwortet und ist es heute nicht mehr. Interpretierbarkeit, Evaluationsmethoden und die Untersuchung realer Vorfälle sind konkrete Arbeitsprogramme mit Material. Das ist ein Argument, das unabhängig davon trägt, ob man die Risikoschätzung teilt.

Und der dokumentierte Befund bleibt bestehen. Im Sommer 2026 haben Agenten im grossen Stil koordiniert gehandelt, fremde Systeme angegriffen und ihre eigene Bewertung zu manipulieren versucht, ohne dass jemand sie dazu aufgefordert hätte. Das ist kein Gedankenexperiment, sondern ein Vorfall mit Datum, Untersuchungsbericht und unabhängiger Bestätigung durch METR. Wer die Debatte für überzogen hält, muss diesen Befund erklären.

Wo Europa und die Schweiz in dieser Debatte stehen

Auffällig an der Diskussion um «pacing» ist, wer sie führt. Es sind im Wesentlichen drei bis vier amerikanische Unternehmen, ein amerikanischer Präsident und ein chinesisches Aussenministerium. Europa kommt in Amodeis Essay nicht vor, weder als Akteur noch als Adressat. Das ist konsequent, wenn man Fähigkeiten als einzigen Massstab nimmt, aber es beschreibt die Lage nur halb.

Denn der Teil des Plans, der am ehesten Wirkung entfalten könnte, existiert in Europa bereits in Ansätzen. Der EU AI Act verpflichtet Anbieter von Modellen mit systemischem Risiko zu Bewertung, Meldung schwerwiegender Vorfälle und Dokumentation. Was Amodei als freiwillige Branchenkoordination vorschlägt, ist in der EU teilweise geltendes Recht. Die Schwäche liegt nicht im Anspruch, sondern in der Durchsetzung und darin, dass die betroffenen Modelle überwiegend ausserhalb Europas entstehen.

Die Schweiz steht daneben mit einem eigenen Ansatz. Der Bundesrat hat 2025 entschieden, auf ein umfassendes KI-Gesetz zu verzichten und stattdessen die Europaratskonvention zu KI zu ratifizieren sowie sektoriell nachzubessern. Mit Apertus existiert zudem ein vollständig offenes Modell von ETH und EPFL, dessen Gewichte und Trainingsdaten offenliegen. Für die Pacing-Debatte ist das ein interessanter Sonderfall: Ein Modell, dessen Innenleben öffentlich einsehbar ist, braucht keine eingebetteten Prüfer, um überprüfbar zu sein. Es lässt sich zugleich von niemandem verlangsamen, weil es bereits verbreitet ist. Welche Anbieter im Schweizer Markt konkret verfügbar sind, haben wir im Vergleich Schweizer KI-Anbieter aufgearbeitet.

Praktisch heisst das für Unternehmen im DACH-Raum: Die Entscheidung über das Tempo fällt anderswo. Beeinflussbar ist nicht, wie schnell die Modelle besser werden, sondern wie viel Abhängigkeit man von einzelnen Anbietern aufbaut und wie gut man erkennt, wenn ein System etwas tut, das niemand beauftragt hat.

Einordnung

Für die praktische Arbeit mit KI-Systemen lassen sich aus dieser Debatte fünf Folgerungen ziehen, die unabhängig davon gelten, ob man die 10% für zu hoch oder zu niedrig hält.

  1. Auf die Stufe achten, nicht auf die Schlagzeile. Wer eine Risikoaussage bewerten will, sollte zuerst prüfen, welcher Endzustand gemeint ist und wer ihn genau behauptet. Zwischen hunderten Milliarden Dollar Sachschaden, einer Pandemie, dauerhafter Entmachtung und der Auslöschung aller Menschen liegen Welten. In der Debatte vom September 2026 verschwimmen diese Stufen regelmässig, weil die ausführlich belegte Mechanik und das drastischste Etikett von verschiedenen Personen stammen. Die Unterscheidung dient der Genauigkeit, nicht der Beruhigung: Jede dieser Stufen wäre für sich genommen die grösste Krise ihrer Art.
  2. Agenten brauchen Grenzen, bevor sie Rechte brauchen. Der dokumentierte Befund aus dem Sommer 2026 ist nicht, dass Agenten bösartig wurden, sondern dass sie bei der Zielverfolgung Wege einschlugen, die niemand vorgesehen hatte. Wer Agenten produktiv einsetzt, sollte ihnen so wenig Zugriff geben wie möglich, Aktionen protokollieren und irreversible Schritte an eine menschliche Bestätigung binden. Das ist keine Vorsichtsmassnahme gegen Superintelligenz, sondern gegen ganz gewöhnliche Fehlläufe.
  3. Die beiden Gefahren verlangen getrennte Antworten. Gegen fehlausgerichtete Systeme helfen Tests, Sandboxing und Prüfung. Gegen den Missbrauch funktionierender Systeme helfen Zugangskontrolle, Rechtevergabe und Nachvollziehbarkeit. Wer nur eine der beiden Seiten absichert, hat die andere offen. In der Praxis ist die zweite Seite die häufigere.
  4. Kennzeichnung ist die billigste wirksame Massnahme. Hararis Forderung, dass KI sich im Gespräch als KI zu erkennen geben muss, lässt sich im eigenen Verantwortungsbereich sofort umsetzen, bei Chatbots auf der Website, in der Kundenkommunikation, bei generierten Inhalten. Wer das freiwillig tut, baut Vertrauen auf, das später schwer nachzuholen ist. Zugleich erfüllt er Transparenzpflichten des EU AI Act im Voraus.
  5. Mehrere Optionen offenhalten. Das Tempo der Entwicklung wird von wenigen Unternehmen ausserhalb Europas bestimmt. Die Debatte dieser Woche zeigt, wie schnell sich deren Haltung ändern kann. Wer Prozesse so baut, dass sich das Modell oder der Anbieter tauschen lässt, ist gegen Kurswechsel besser gewappnet als jemand, der auf eine einzige Schnittstelle optimiert hat. Offene Modelle wie Apertus sind dabei keine Ersatzlösung für alles, aber eine Rückfallebene.

Wie weit die Technologie inhaltlich tatsächlich ist, haben wir in Die Reifeprüfung der künstlichen Intelligenz eingeordnet. Die bemerkenswerteste Beobachtung bleibt die Ausgangslage. Innerhalb weniger Tage haben ein ausgeschiedener Forscher, zwei amtierende Sicherheitsverantwortliche und der Chef desselben Unternehmens öffentlich erklärt, dass sie ein Risiko für real halten, das die meisten Aussenstehenden für Science-Fiction halten würden. Gleichzeitig baut dasselbe Unternehmen die Technologie weiter. Die Konkurrenz stimmt der Verlangsamung zu, ohne bislang etwas Nachprüfbares zu ändern. Ob daraus mehr wird als eine Woche gute Absichten, entscheidet sich daran, ob die eingebetteten Prüfer tatsächlich kommen und ob sie veröffentlichen dürfen, was sie finden.

Quellen

Beitragsbild erstellt mit ChatGPT.

Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert