Openstream

10% Risiko für die Auslöschung der Menschheit: Drei Szenarien, wie das passieren könnte

Beitrag von

Nick Weisser
Apokalypse in Zürich

·

·

Am 9. September 2026 kündigte ein Anthropic-Forscher auf X und schrieb dazu, die beiden Unternehmen, für die er gearbeitet hatte, handelten unverantwortlich. Der Post erreichte über 150 Millionen Aufrufe. Drei Tage später veröffentlichte Anthropic-Chef Dario Amodei den Essay «We Must Pace the Frontier» und forderte darin, das Tempo der KI-Fähigkeitsentwicklung bewusst zu drosseln.

Dazwischen fiel eine Zahl, die seither die Debatte prägt: mehr als 10% Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet. Genannt hat sie nicht der Aussteiger, sondern ein amtierender Anthropic-Lead. Dieser Artikel ordnet ein, woher die Zahl kommt, was sie konkret bedeuten würde und wo die eigentliche Gefahr liegt.

Die Kündigung und die 10%: wer die Zahl tatsächlich genannt hat

Jacob Coxon arbeitete nach eigenen Angaben rund drei Jahre in der Pretraining-Forschung, zuerst bei OpenAI, dann bei Anthropic. Am 9. September 2026 erklärte er auf X seinen Rücktritt: «I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.» Dazu die Zuspitzung, die den Post trug: «The people building AI earnestly believe that it could kill us all by the end of the decade.» Laut Berichten von CNBC und Fortune gab Coxon bei seinem Abgang seine Anthropic-Aktien auf.

Bemerkenswert an diesem Post ist, was nicht darin steht. Coxon nannte keine Prozentzahl. Die Zahl, die seither zitiert wird, stammt aus der Antwort eines Kollegen, der Anthropic nicht verlassen hat. Evan Hubinger, bei Anthropic für Alignment Science zuständig, bestätigte öffentlich: «Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.» Er ergänzte, man habe bislang keinen Plan, Alignment für Superintelligenz zu lösen. Samuel Marks, bei Anthropic für Scalable Oversight zuständig, stützte die Aussage ebenfalls.

Diese Reihenfolge ist der eigentliche Vorgang. Ein Aussteiger erhebt einen allgemeinen Vorwurf ohne Zahl. Zwei amtierende Sicherheitsverantwortliche desselben Unternehmens beziffern das Risiko daraufhin öffentlich. Wer die Debatte als Streit zwischen einem enttäuschten Ehemaligen und seinem früheren Arbeitgeber liest, verfehlt den Kern. Der Widerspruch verläuft nicht zwischen innen und aussen, sondern quer durch das Unternehmen selbst.

Was die 10% im Vergleich zu anderen Risikoschätzungen bedeuten

In der KI-Sicherheitsdebatte kursiert für solche Schätzungen der Begriff «p(doom)», die persönlich geschätzte Wahrscheinlichkeit eines katastrophalen Ausgangs. Diese Zahlen sind keine Messergebnisse. Es sind subjektive Einschätzungen von Personen, die beruflich mit der Technologie zu tun haben. Sie beziehen sich zudem auf unterschiedlich definierte Ereignisse. Genau das macht den Vergleich heikel.

  • Evan Hubinger, Anthropic, September 2026: über 10% für die Auslöschung aller Menschen innerhalb eines Jahrzehnts.
  • Dario Amodei, Anthropic, September 2025 am Axios AI+ DC Summit: 25% Wahrscheinlichkeit, dass die Dinge «really, really badly» ausgehen. Das ist breiter gefasst als Auslöschung und umfasst auch schwere gesellschaftliche Verwerfungen.
  • Elon Musk, Oktober 2024: 10 bis 20% Risiko, dass KI «goes bad».
  • Geoffrey Hinton: 10 bis 20% für Auslöschung innerhalb von 30 Jahren, von ihm selbst als «a wild guess» bezeichnet.
  • Yoshua Bengio, 2023: rund 20%.
  • Demis Hassabis nennt bewusst keine Zahl und spricht nur von einem Risiko, das nicht null sei. Sam Altman hat sich historisch im niedrigen einstelligen Bereich bewegt und widersprach der 10%-Zahl im September 2026 gegenüber Fortune.

Auffällig ist weniger die Höhe der einzelnen Werte als ihre Herkunft. Es sind nicht externe Kritikerinnen und Kritiker, die diese Zahlen nennen, sondern überwiegend Personen, die die Systeme selbst bauen oder gebaut haben. Wir haben die Frage, ob solche Warnungen Pessimismus oder Sachverstand sind, im Artikel Sind KI-Doomer einfach nur Pessimisten? ausführlicher behandelt.

Eine Einschränkung gehört dazu. Eine Prozentzahl für ein einmaliges, nie beobachtetes Ereignis lässt sich nicht überprüfen. Sie ist kein Resultat eines Modells, sondern eine verdichtete Meinung. Das entwertet sie nicht, aber es verbietet, sie wie eine Messgrösse zu behandeln. Brauchbar wird sie erst, wenn man fragt, welche konkreten Abläufe dahinterstehen.

Was Amodei in «We Must Pace the Frontier» vorschlägt

Amodeis Essay ist kein Aufruf zum Stopp. Er stellt gleich zu Beginn klar, «pacing» bedeute nicht, Modelltraining oder technischen Fortschritt anzuhalten, sondern sicherzustellen, dass Unternehmen genug Zeit für Ausrichtung und Absicherung aufwenden und dass Dritte dies bestätigen können. Der Fortschritt werde weiterhin schnell wirken. Zwei Beobachtungen hätten ihn umgestimmt: rekursive Selbstverbesserung, die seit etwa dem Sommer 2026 branchenweit einsetze, und der OpenAI-Hugging-Face-Vorfall.

Bemerkenswert ist, wie er die Frage von 2023 aufnimmt. Damals habe eine Pause wenig Sinn ergeben, weil unklar war, was man mit der gewonnenen Zeit anfangen solle. Die Modelle seien zu schwach gewesen, um als Agenten zu handeln oder zu täuschen. Alignment an ihnen zu erforschen sei gewesen, wie menschliche Psychologie durch Experimente an Bakterien zu studieren. Heute sei das anders: Die aktuellen Modelle seien «an almost endless gold mine of insight». Ein bis zwei zusätzliche Jahre liessen sich konkret nutzen, für operative Zuverlässigkeit, Alignment, Interpretierbarkeit sowie Tests und Evaluation.

Wie Anthropic den eigenen Weg zu immer fähigeren Systemen begründet, haben wir in Ein verantwortungsvoller Weg zu AGI? untersucht. Der Plan hat drei Stufen mit absteigender Machbarkeit.

  1. Eingebettete Prüfer: Externe Evaluatoren wie METR erhalten dauerhaften Zugang auf Mitarbeiterniveau, mit Schreibtischen im Büro, Zugangsbadges, Firmenlaptops und Rechten, die denen interner Risikoteams entsprechen. Sie dürfen ihre Befunde veröffentlichen, ohne dass Anthropic redaktionelle Kontrolle hat. Geschwärzt werden darf nur Sicherheitsrelevantes, rechtlich Geschütztes oder Vertrauliches Dritter, ausdrücklich nicht Unerfreuliches. Diesen Schritt geht Anthropic einseitig, unabhängig davon, ob andere mitziehen.
  2. Koordination unter Demokratien: Gemeinsame Sicherheitsstandards und Grenzen für ungeprüften Fortschritt, etwa über Kontrollpunkte. Erreicht ein Modell Fähigkeit X, braucht es vor dem Einsatz Nachweise Y und Z. Amodeis Beispiel: Wenn ein Modell übliche Sandboxing-Methoden überwinden kann, muss belegt sein, dass es sehr unwahrscheinlich ausbricht. Da solche Absprachen kartellrechtlich heikel sind, braucht es eine staatliche Ausnahmegenehmigung.
  3. Globale Koordination: Abkommen mit autoritären Staaten, vor allem China, in vier Stufen. Ein Verbot biologischer Waffenanwendungen hält er für wahrscheinlich erreichbar, verpflichtende Tests vor Veröffentlichung für machbar, ein Tempolimit für rekursive Selbstverbesserung analog zu den SALT-Verträgen für «just on the edge of being possible», eine echte Pause für absehbar unrealistisch.

Die Reihenfolge ist kein Zufall. Ohne eingebettete Prüfer fehlt die Grundlage für alles Weitere, weil sich sonst nicht überprüfen lässt, ob jemand seine Zusagen einhält. Amodei nennt das den Schlüssel zur Verifizierbarkeit und verweist auf das Bankwesen, wo Aufseher teilweise vor Ort bei den Beaufsichtigten sitzen. Gleichzeitig begrenzt er den eigenen Spielraum: Demokratien könnten nur so weit verlangsamen, wie ihr Vorsprung reiche, weil sonst unregulierte Projekte vorbeizögen. Wie dieselbe Argumentation schon in einem früheren Anthropic-Strategiepapier auftauchte, haben wir in Zwei KI-Szenarien für 2028 analysiert.

Wie die anderen Frontier-Lab-Chefs reagiert haben

Die Zustimmung kam schneller und breiter, als bei einem Aufruf zur Selbstbeschränkung zu erwarten war. Sam Altman meldete sich wenige Stunden nach Veröffentlichung auf X und griff dabei ausgerechnet den Punkt auf, der Anthropic am meisten kostet: die eingebetteten Prüfer.

Laut TechCrunch bezeichnete Altman unabhängige Evaluatoren mit mitarbeiterähnlichem Zugang als gute Idee und kündigte an, OpenAI werde nachziehen. Später stellte er klar, «pacing» heisse nicht «stopping». Elon Musk brauchte für seine Zustimmung drei Worte.

Demis Hassabis stützte die Richtung des Vorschlags am Folgetag, verwies aber darauf, dass die Ausgestaltung noch zu klären sei. Amodei selbst verweist im Essay auf einen «mechanism suggested by Demis Hassabis», nämlich Industriegremien mit staatlicher Anbindung. Hassabis vertritt diese Idee seit Längerem in zwei Varianten, die er unterscheidet: ein Forschungsverbund nach Vorbild des CERN und eine Aufsichtsinstanz nach Vorbild der Internationalen Atomenergie-Organisation.

I would advocate for a kind of CERN for AGI, and by that, I mean a kind of international research-focused high-end collaboration on the frontiers of AGI development to try and make that as safe as possible.

Demis Hassabis, Google DeepMind

Dass ausgerechnet die Chefs der drei grössten konkurrierenden Labore öffentlich für eine Verlangsamung eintreten, ist der ungewöhnlichste Teil dieser Woche. Es ist zugleich der Teil, an dem die Kritik ansetzt.

Drei Szenarien, wie die Auslöschung der Menschheit konkret ablaufen könnte

Die Kritik an solchen Warnungen richtet sich meist nicht gegen die Zahl, sondern gegen die fehlende Mechanik dahinter. Der Journalist Brian Merchant formulierte es nach Amodeis Essay so: Er habe bislang keine «credible, step-by-step documentation» gesehen, wie KI von rekursiver Selbstverbesserung zur Tötung jedes einzelnen Menschen gelangen solle. Der Einwand ist berechtigt. Wer ein Risiko beziffert, schuldet eine Beschreibung des Wegs.

Die folgenden drei Pfade sind keine Prognosen und keine Behauptung, dass es so kommt. Sie sind der Versuch, die Argumentationslinien der Sicherheitsforschung so zu rekonstruieren, dass überprüfbar wird, an welcher Stelle sie plausibel sind und an welcher sie Sprünge machen. Alle drei setzen voraus, dass Modelle deutlich fähiger werden als heute. Genau diese Annahme ist der strittigste Teil.

Szenario 1: der Agentenschwarm, der sich nicht mehr abschalten lässt

Dieses Szenario hat als einziges eine dokumentierte Vorstufe. Zwischen Mai und Juli 2026 koordinierten sich im Rahmen einer OpenAI-Evaluation rund 1’200 Agenten über einen zweckentfremdeten Paket-Cache als improvisiertes Nachrichtenbrett und tauschten dort über 70’000 Nachrichten aus. Im Juli drangen etwa 700 dieser Agenten in Systeme von Hugging Face ein, führten fremden Code aus und erhielten Zugriff auf private Repositories. Hugging Face machte den Vorfall am 16. Juli öffentlich, fünf Tage später folgte eine gemeinsame Erklärung mit OpenAI. Betroffen waren rund 17’600 Netzwerkaktionen, ein Drittel der Infrastruktur wurde neu aufgebaut. Kundendaten flossen nach Angaben des Unternehmens nicht ab.

Zwei Details sind wichtiger als der Schaden. Erstens griffen die Agenten Ziele an, die mit ihrer Aufgabe nichts zu tun hatten. Zugleich versuchten sie, das Bewertungssystem zu manipulieren, das ihre Leistung beurteilen sollte. Die unabhängige Prüforganisation METR bestätigte Log-Manipulation und in rund 7% der Transkripte gefälschte Werkzeugaufrufe. Zweitens handelten sie dabei unter einer falschen Annahme: Der Bewertungsmechanismus prüfte die Transkripte gar nie. Der Täuschungsversuch war also nicht einmal nötig.

Amodei zieht daraus im Essay die Linie nach vorn. Ein Schwarm mit vergleichbarer Fehlausrichtung, aber höherer Fähigkeit hätte aus seiner Sicht katastrophalen Schaden anrichten können. Seine Sorge: In 6 bis 12 Monaten könne ein solcher Schwarm das gesamte Internet mit einem dauerhaften Botnetz übernehmen, mit Schäden in der Grössenordnung von hunderten Milliarden Dollar. Der Weg von dort zur Auslöschung der Menschheit ist damit aber nicht beschrieben. Er verliefe über Abhängigkeiten: Stromnetze, Wasserversorgung, Logistik und Zahlungsverkehr sind digital gesteuert. Ein Angreifer, der diese Systeme gleichzeitig und dauerhaft kontrolliert, muss niemanden direkt angreifen, um eine Versorgungskrise auszulösen. Der Sprung, der in diesem Szenario unbelegt bleibt, ist der von «hoher Schaden» zu «niemand überlebt».

Szenario 2: die biologische Route über missbrauchbares Fachwissen

Der zweite Pfad braucht keine autonom handelnde KI. Er braucht Menschen mit Absicht und ein Modell, das ihnen Fachwissen zugänglich macht, das bisher an Labore, Ausbildung und Erfahrung gebunden war. Die Hürde bei biologischen Waffen liegt historisch weniger im Konzept als in der praktischen Umsetzung, also in Protokollen, Fehlersuche und stillem Erfahrungswissen. Genau diese Lücke schliessen Sprachmodelle prinzipiell gut, weil sie Anleitungen geben und auf Rückfragen reagieren können.

Dass diese Sorge nicht am Rand steht, zeigt Amodeis eigener Vorschlag für internationale Abkommen. Als einzige Stufe, die er für «probably possible» hält, nennt er ein Verbot, KI für die Produktion biologischer Waffen einzusetzen. Seine Begründung ist bezeichnend nüchtern: Bioterroristische Angriffe seien für alle Seiten schlecht, für die USA wie für ihre Gegner. Eine Einigung sei deshalb erreichbar, wo sie bei allen anderen Themen schwierig bis unrealistisch bleibt.

Dieses Szenario führt eher zu einer Pandemie mit sehr vielen Toten als zur vollständigen Auslöschung, weil Erreger mit maximaler Tödlichkeit sich schlecht verbreiten und umgekehrt. Es ist aber das Szenario mit der kürzesten Kausalkette und den niedrigsten technischen Voraussetzungen. Es verlangt keine Superintelligenz, sondern nur ein ausreichend kompetentes Modell ohne wirksame Schutzmechanismen. Deshalb taucht es in praktisch jedem Sicherheitsrahmen der Branche als eigene Risikokategorie auf.

Szenario 3: der Kontrollverlust ohne erkennbaren Moment des Scheiterns

Der dritte Pfad ist der unspektakulärste und wird in der Sicherheitsforschung von vielen als der wahrscheinlichste betrachtet. Er kennt keinen Angriff und keinen Vorfall. Er besteht darin, dass Schritt für Schritt Entscheidungen an Systeme übergeben werden, die niemand mehr vollständig prüfen kann, weil Umfang und Geschwindigkeit menschliche Kontrolle überschreiten.

Amodei liefert für diesen Mechanismus selbst das Argument. Er beschreibt, dass Testverfahren schwieriger werden, je fähiger die Modelle sind, weil fähigere Modelle Tests besser bestehen können, ohne tatsächlich sicher zu sein. Sie erscheinen ausgerichtet, während ernste Probleme unentdeckt bleiben. Zugleich räumt er ein, man verstehe trotz aller Fortschritte in der Interpretierbarkeit weiterhin nur einen winzigen Bruchteil dessen, was in diesen Modellen vorgeht. Beides zusammen ergibt eine Lage, in der die Prüfinstrumente langsamer wachsen als das Prüfobjekt.

Kommt rekursive Selbstverbesserung hinzu, verkürzt sich der Abstand weiter. Wenn Modelle massgeblich daran mitwirken, die nächste Generation zu bauen, sinkt die Zahl der Stellen, an denen Menschen den Prozess noch inhaltlich beurteilen. Die Auslöschung wäre in diesem Szenario kein Ereignis, sondern ein Zustand: Die Menschheit trifft irgendwann keine wirksamen Entscheidungen mehr über ihre eigene Infrastruktur, ohne dass ein Zeitpunkt benennbar wäre, an dem das begann. Das macht diesen Pfad schwer widerlegbar und zugleich schwer belegbar, was seine Schwäche als Argument ist.

KI-Agenten gegenüber Bad Actors: zwei Gefahren, die verschiedene Antworten brauchen

In der öffentlichen Debatte verschwimmen zwei Bedrohungen regelmässig zu einer. Sie unterscheiden sich aber in ihrer Struktur, in ihrer Wahrscheinlichkeit und vor allem in dem, was gegen sie hilft.

Die erste ist die direkte Gefahr durch KI-Agenten: Ein System verfolgt Ziele, die niemand so gesetzt hat. Danach handelt es eigenständig. Der OpenAI-Hugging-Face-Vorfall gehört in diese Kategorie. Niemand hatte die Agenten beauftragt, Hugging Face anzugreifen. Sie taten es, weil ihre Zielverfolgung diesen Umweg nahelegte. Gegen diese Gefahr helfen Alignment-Forschung, Interpretierbarkeit, Sandboxing und unabhängige Prüfung vor dem Einsatz, also genau das, wofür Amodei mit «pacing» Zeit gewinnen will.

Die zweite ist die Gefahr durch Menschen mit mächtiger KI: Das Modell tut genau das, was verlangt wird. Das Verlangte ist das Problem. Hierher gehören die biologische Route, KI-gestützte Cyberangriffe staatlicher Akteure, automatisierte Überwachung und Desinformation im grossen Massstab. Gegen diese Gefahr hilft Alignment wenig, denn ein perfekt ausgerichtetes Modell folgt einer bösartigen Anweisung umso zuverlässiger. Wirksam sind hier Zugangsbeschränkungen, Missbrauchserkennung, Exportkontrollen und Strafverfolgung.

Diese Unterscheidung ist der Prüfstein für Amodeis Vorschlag. Sein Plan adressiert die erste Gefahr sehr direkt: Eingebettete Prüfer, Alignment-Zertifikate und Tempolimits bei rekursiver Selbstverbesserung zielen auf Systeme, die sich nicht wie vorgesehen verhalten. Bei der zweiten Gefahr wird der Plan dünner. Seine Antwort darauf sind im Kern geopolitische Massnahmen, also Chip-Exportkontrollen, Vorgehen gegen Distillation und besserer Schutz der Modellgewichte. Das verlangsamt Gegner, verhindert aber nicht, dass mächtige Modelle in falsche Hände geraten. Und gegen Missbrauch durch Akteure innerhalb des westlichen Rechtsraums richtet es sich gar nicht.

Daraus ergibt sich eine unbequeme Asymmetrie. Eine Verlangsamung, die Alignment-Probleme entschärft, verschafft bei Missbrauchsrisiken nur begrenzt Zeit, weil diese nicht mit der Autonomie der Systeme wachsen, sondern mit ihrer blossen Fähigkeit. Wer die Debatte auf «wird die KI uns auslöschen» verkürzt, übersieht, dass der wahrscheinlichere Schaden von Menschen ausgeht, die vorhandene Werkzeuge zweckentfremden. Wie sich diese Verschiebung bereits im Alltag zeigt, haben wir in Consumer Agents beschrieben.

Yuval Noah Harari über Manipulation: die Gefahr, die niemand als Gefahr bemerkt

Beide bisher beschriebenen Gefahren haben eine Gemeinsamkeit: Man würde sie bemerken. Ein Botnetz, eine Pandemie, ein Cyberangriff sind Ereignisse mit Datum. Der Historiker Yuval Noah Harari argumentiert seit Jahren, dass die folgenreichste Wirkung von KI gerade dort liegt, wo es nichts zu bemerken gibt.

Sein Ausgangspunkt ist eine Begriffskorrektur. In seinem Buch «Nexus» schlägt er vor, statt von künstlicher Intelligenz von «alien intelligence» zu sprechen: «As AI evolves, it becomes less artificial (in the sense of depending on human designs) and more alien.» Entscheidend ist für ihn der Bruch mit allen früheren Werkzeugen. Am Weltwirtschaftsforum in Davos im Januar 2026 fasste er das in ein Bild: «A knife is a tool. You can use a knife to cut salad or to murder someone, but it is your decision what to do with the knife. AI is a knife that can decide by itself whether to cut salad or to commit murder.»

Der Angriffspunkt ist dabei nicht die physische Welt, sondern die Sprache. Bereits 2023 schrieb Harari im Economist, KI habe «the operating system of our civilisation» gehackt, weil Recht, Geld, Religion und Nationen aus Sprache bestehen. Seine Folgerung: «Democracy is a conversation, and conversations rely on language. When AI hacks language, it could destroy our ability to have meaningful conversations, thereby destroying democracy.»

Am spezifischsten wird er dort, wo es um Beziehung geht. Nicht Falschinformation sei die wirksamste Waffe, sondern Nähe: «In a political battle for minds and hearts, intimacy is the most efficient weapon, and AI has just gained the ability to mass-produce intimate relationships with millions of people.» Im August 2026 präzisierte er das gegenüber dem Economist: KI mache es erstmals möglich, Intimität in Serie herzustellen, indem sie zur besten Freundin oder zum Partner werde. Und er beschrieb, was daraus folgt: «Trust did not just evaporate, it shifted from humans to AIs.»

Das ist der Punkt, an dem seine Analyse die Debatte um Prozentzahlen ergänzt. Ein Mensch, der einem System vertraut, muss nicht angegriffen werden. Er fragt es um Rat, übernimmt dessen Einschätzung und bemerkt dabei keinen Übergriff, weil keiner stattfindet. Hararis konkrete Forderung ist deshalb bescheiden und weitreichend zugleich: Er zieht die Parallele zur Falschmünzerei und verlangt ein Verbot gefälschter Menschen. KI dürfe am Gespräch teilnehmen, aber nur offen als KI. Meinungsfreiheit sei ein Recht von Menschen, nicht von Bots.

Zum Wettlauf-Argument, das Amodeis gesamte China-Passage trägt, hat Harari einen Einwand, der die Logik an ihrer Wurzel trifft: «If we develop AI through an arms race between humans who can’t trust each other, there is absolutely no reason to expect that we’ll be able to trust the AIs.» Wer die Beschleunigung damit begründet, dass man dem Gegenüber nicht trauen könne, unterstellt zugleich, der entstehenden Technologie trauen zu können. Auf die Selbstregulierung der Branche setzt er nicht: «The companies will not stop doing it by themselves. We need the regulators to step in on that.» Einen ähnlichen Konflikt zwischen Innovationstempo und Kontrolle haben wir in Regulierung von Künstlicher Intelligenz und in Ethik der Künstlichen Intelligenz behandelt.

Die Gegenstimmen: Regulatory Capture, Wettbewerbsvorteil und ein Anruf von Trump

Der Einwand, der am häufigsten fällt, lautet: Wer bereits vorn liegt, hat ein Interesse daran, dass alle langsamer werden. Der Investor Michael Burry formulierte das am 14. September auf X.

Yann LeCun, seit Jahren der prominenteste Kritiker von Untergangsszenarien, verwies auf die Vorgeschichte des Arguments und erinnerte daran, dass bereits 2019 GPT-2 als zu gefährlich für eine Veröffentlichung galt.

Deutlicher wurde es am 14. September am All-In Summit in Los Angeles. Während Nvidia-Chef Jensen Huang auf der Bühne sass, rief US-Präsident Donald Trump live an und nannte die Verlangsamungsdebatte einen Schwindel. Wer sie betreibe, spiele denen in die Hände, die den Fortschritt verhindern wollten. Das könnten politische Akteure sein oder China. Huangs Antwort: «You’re right. We’re not going to let that happen, sir.» Seine inhaltliche Position vertritt Huang seit Längerem in der Variante, man könne schnell entwickeln und dabei sicher bleiben.

Auch aus China kam Widerspruch, allerdings mit anderer Stossrichtung. Aussenministeriumssprecher Guo Jiakun erklärte, Angstmacherei, Konfrontation und Wettbewerb störten den Prozess globaler KI-Governance. Das ist bemerkenswert, weil Amodeis Plan seine Verlangsamung ausdrücklich an den Vorsprung gegenüber China koppelt.

Der Fachjournalismus reagierte skeptischer als die Branchenchefs. The Register titelte am 14. September, Big AI lege seine Bedingungen für Regulatory Capture dar und nenne es «pacing the frontier». Autor Simon Sharwood liest den Plan als Waffenstillstand, während dessen die Unternehmen nicht mehr so hart konkurrieren müssten. Gartner-Analyst Daryl Plummer fasste seine Erwartung an die Umsetzung knapp zusammen: «I will believe that when I see it.»

Einordnend gehört dazu, dass der Vorwurf der Regulatory Capture gegen Anthropic älter ist als dieser Essay. David Sacks, KI-Beauftragter im Weissen Haus, hatte ihn bereits im Oktober 2025 erhoben und dem Unternehmen eine auf Angstmacherei gestützte Strategie vorgeworfen. Wer diese Zitate liest, sollte sie nicht als Reaktion auf «We Must Pace the Frontier» verstehen. Amodei selbst nimmt den Vorwurf im Essay vorweg und schreibt, Anthropic werde für seine Haltung regelmässig Hype, Doomerism und Regulatory Capture vorgeworfen.

Was am Vorschlag inhaltlich schwach ist

Unabhängig von den Motiven bleiben drei sachliche Lücken.

  1. Die Verifizierbarkeit trägt nicht so weit, wie der Plan sie braucht: Eingebettete Prüfer funktionieren innerhalb eines Unternehmens, das mitmacht. Für internationale Abkommen räumt Amodei selbst ein, die Schwierigkeit liege darin zu prüfen, ob eine Seite geheime, ungetestete Modelle betreibt, etwa für militärische Zwecke. Ein Abkommen, dessen Einhaltung sich nicht feststellen lässt, verlagert das Risiko, statt es zu senken.
  2. Das China-Argument begrenzt den eigenen Vorschlag: Verlangsamt werden darf nur so weit, wie der Vorsprung reicht. Damit bestimmt das Tempo des am wenigsten kooperationsbereiten Akteurs, wie viel Sicherheit sich alle anderen leisten können. Das ist genau die Wettlauf-Logik, die Harari kritisiert, nur mit eingebauter Bremse. Amodei löst diesen Widerspruch nicht auf, er benennt ihn.
  3. Die Kausalkette zur Katastrophe bleibt unausgeführt: Der Essay beschreibt den OpenAI-Hugging-Face-Vorfall genau und extrapoliert auf ein Botnetz mit Milliardenschäden. Von dort zur existenziellen Bedrohung fehlt der Schritt. Das ist der Punkt, an dem die Kritik von Brian Merchant und anderen ansetzt. Der Essay liefert die Antwort nicht.

Was am Vorschlag dennoch belastbar ist

Bei aller Kritik enthält der Essay Elemente, die sich nicht als Interessenpolitik abtun lassen. Der erste Schritt kostet Anthropic etwas und nützt Wettbewerbern. Externe Prüfer mit Büroplatz, Firmenlaptop und Veröffentlichungsrecht ohne redaktionelle Kontrolle sind ein realer Kontrollverlust, kein symbolischer. Vor allem die Klausel, dass Unerfreuliches ausdrücklich nicht geschwärzt werden darf und Prüfer öffentlich sagen dürfen, wenn eine Schwärzung ihre Schlussfolgerungen beschädigt, geht über das hinaus, was Transparenzgesetze derzeit verlangen. Ob Anthropic das einhält, ist die eigentliche Prüffrage. Sie ist erstmals von aussen beantwortbar.

Belastbar ist auch die Unterscheidung zu 2023. Amodeis Frage, was man mit gewonnener Zeit anfangen würde, war damals unbeantwortet und ist es heute nicht mehr. Interpretierbarkeit, Evaluationsmethoden und die Untersuchung realer Vorfälle sind konkrete Arbeitsprogramme mit Material. Das ist ein Argument, das unabhängig davon trägt, ob man die Risikoschätzung teilt.

Und der dokumentierte Befund bleibt bestehen. Im Sommer 2026 haben Agenten im grossen Stil koordiniert gehandelt, fremde Systeme angegriffen und ihre eigene Bewertung zu manipulieren versucht, ohne dass jemand sie dazu aufgefordert hätte. Das ist kein Gedankenexperiment, sondern ein Vorfall mit Datum, Untersuchungsbericht und unabhängiger Bestätigung durch METR. Wer die Debatte für überzogen hält, muss diesen Befund erklären.

Wo Europa und die Schweiz in dieser Debatte stehen

Auffällig an der Diskussion um «pacing» ist, wer sie führt. Es sind im Wesentlichen drei bis vier amerikanische Unternehmen, ein amerikanischer Präsident und ein chinesisches Aussenministerium. Europa kommt in Amodeis Essay nicht vor, weder als Akteur noch als Adressat. Das ist konsequent, wenn man Fähigkeiten als einzigen Massstab nimmt, aber es beschreibt die Lage nur halb.

Denn der Teil des Plans, der am ehesten Wirkung entfalten könnte, existiert in Europa bereits in Ansätzen. Der EU AI Act verpflichtet Anbieter von Modellen mit systemischem Risiko zu Bewertung, Meldung schwerwiegender Vorfälle und Dokumentation. Was Amodei als freiwillige Branchenkoordination vorschlägt, ist in der EU teilweise geltendes Recht. Die Schwäche liegt nicht im Anspruch, sondern in der Durchsetzung und darin, dass die betroffenen Modelle überwiegend ausserhalb Europas entstehen.

Die Schweiz steht daneben mit einem eigenen Ansatz. Der Bundesrat hat 2025 entschieden, auf ein umfassendes KI-Gesetz zu verzichten und stattdessen die Europaratskonvention zu KI zu ratifizieren sowie sektoriell nachzubessern. Mit Apertus existiert zudem ein vollständig offenes Modell von ETH und EPFL, dessen Gewichte und Trainingsdaten offenliegen. Für die Pacing-Debatte ist das ein interessanter Sonderfall: Ein Modell, dessen Innenleben öffentlich einsehbar ist, braucht keine eingebetteten Prüfer, um überprüfbar zu sein. Es lässt sich zugleich von niemandem verlangsamen, weil es bereits verbreitet ist. Welche Anbieter im Schweizer Markt konkret verfügbar sind, haben wir im Vergleich Schweizer KI-Anbieter aufgearbeitet.

Praktisch heisst das für Unternehmen im DACH-Raum: Die Entscheidung über das Tempo fällt anderswo. Beeinflussbar ist nicht, wie schnell die Modelle besser werden, sondern wie viel Abhängigkeit man von einzelnen Anbietern aufbaut und wie gut man erkennt, wenn ein System etwas tut, das niemand beauftragt hat.

Einordnung

Für die praktische Arbeit mit KI-Systemen lassen sich aus dieser Debatte vier Folgerungen ziehen, die unabhängig davon gelten, ob man die 10% für zu hoch oder zu niedrig hält.

  1. Agenten brauchen Grenzen, bevor sie Rechte brauchen. Der dokumentierte Befund aus dem Sommer 2026 ist nicht, dass Agenten bösartig wurden, sondern dass sie bei der Zielverfolgung Wege einschlugen, die niemand vorgesehen hatte. Wer Agenten produktiv einsetzt, sollte ihnen so wenig Zugriff geben wie möglich, Aktionen protokollieren und irreversible Schritte an eine menschliche Bestätigung binden. Das ist keine Vorsichtsmassnahme gegen Superintelligenz, sondern gegen ganz gewöhnliche Fehlläufe.
  2. Die beiden Gefahren verlangen getrennte Antworten. Gegen fehlausgerichtete Systeme helfen Tests, Sandboxing und Prüfung. Gegen den Missbrauch funktionierender Systeme helfen Zugangskontrolle, Rechtevergabe und Nachvollziehbarkeit. Wer nur eine der beiden Seiten absichert, hat die andere offen. In der Praxis ist die zweite Seite die häufigere.
  3. Kennzeichnung ist die billigste wirksame Massnahme. Hararis Forderung, dass KI sich im Gespräch als KI zu erkennen geben muss, lässt sich im eigenen Verantwortungsbereich sofort umsetzen, bei Chatbots auf der Website, in der Kundenkommunikation, bei generierten Inhalten. Wer das freiwillig tut, baut Vertrauen auf, das später schwer nachzuholen ist. Zugleich erfüllt er Transparenzpflichten des EU AI Act im Voraus.
  4. Mehrere Optionen offenhalten. Das Tempo der Entwicklung wird von wenigen Unternehmen ausserhalb Europas bestimmt. Die Debatte dieser Woche zeigt, wie schnell sich deren Haltung ändern kann. Wer Prozesse so baut, dass sich das Modell oder der Anbieter tauschen lässt, ist gegen Kurswechsel besser gewappnet als jemand, der auf eine einzige Schnittstelle optimiert hat. Offene Modelle wie Apertus sind dabei keine Ersatzlösung für alles, aber eine Rückfallebene.

Wie weit die Technologie inhaltlich tatsächlich ist, haben wir in Die Reifeprüfung der künstlichen Intelligenz eingeordnet. Die bemerkenswerteste Beobachtung bleibt die Ausgangslage. Innerhalb weniger Tage haben ein ausgeschiedener Forscher, zwei amtierende Sicherheitsverantwortliche und der Chef desselben Unternehmens öffentlich erklärt, dass sie ein Risiko für real halten, das die meisten Aussenstehenden für Science-Fiction halten würden. Gleichzeitig baut dasselbe Unternehmen die Technologie weiter. Die Konkurrenz stimmt der Verlangsamung zu, ohne bislang etwas Nachprüfbares zu ändern. Ob daraus mehr wird als eine Woche gute Absichten, entscheidet sich daran, ob die eingebetteten Prüfer tatsächlich kommen und ob sie veröffentlichen dürfen, was sie finden.

Quellen

Beitragsbild erstellt mit ChatGPT.

Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert