Daniel Kokotajlo wurde dadurch bekannt, dass er die Zukunft der künstlichen Intelligenz überraschend präzise vorhersagte. Jetzt kommt er mit etwas anderem. Statt einer weiteren Prognose legt er einen Plan vor. Er heißt Plan A, und seine Grundidee besteht darin, dass die Vereinigten Staaten und China vereinbaren sollten, ihren Wettlauf um die leistungsfähigste KI zu beenden und ihn gemeinsam für zehn Jahre zu verlangsamen.
Kokotajlo verließ OpenAI im April 2024 wegen Meinungsverschiedenheiten über die Sicherheit künstlicher Intelligenz und gründete 2025 das AI Futures Project. Sein Team veröffentlichte im vergangenen Jahr das Szenario AI 2027, das schilderte, wie der Wettstreit zwischen Washington und Peking um Superintelligenz entweder mit der Auslöschung der Menschheit oder mit einer Diktatur enden könnte. Die Wahrscheinlichkeit einer Auslöschung schätzten sie auf zehn bis dreißig Prozent. Das neue Dokument mit dem Titel AI 2040 kehrt diese düstere Vision um. Es zeigt einen Weg auf, wie das Ganze gut ausgehen könnte.
Was Plan A besagt
Der Blogger Scott Alexander, der an beiden Texten beteiligt war, beschreibt Plan A als Wunschliste und Fahrplan für die Zukunft. Es ist keine Vorhersage dessen, was geschehen wird. Es ist eine Beschreibung des Besten, was geschehen könnte, wenn Amerika ausschließlich die richtigen Entscheidungen träfe und sich der Rest der Welt realistisch verhielte, also auch feindselig, wenn es ihm nützt.
Der Zeitplan des Szenarios sieht folgendermaßen aus. Im Jahr 2029 einigen sich die USA und China darauf, einen kopflosen Wettlauf um Superintelligenz zu vermeiden. Um das Jahr 2030 wäre die KI-Entwicklung bereits vollständig automatisiert, und bis zum Jahresende würde die Superintelligenz eintreffen. Dank der Vereinbarung vermeiden beide Länder dies. Zwischen 2030 und 2035 entwickeln sich die Modelle innerhalb der Grenzen menschlicher Fähigkeiten weiter, bis auf das Niveau der besten menschlichen Experten. Im Jahr 2035 stoppen sie an dieser Grenze, damit die Menschen die Kontrolle behalten. Und 2040 wird die Pause gelockert, und die KI nimmt Kurs auf die Superintelligenz.
Die Autoren haben das Konzept auf vier Säulen aufgebaut. Zeit für die Sicherheitsforschung gewinnen, vollständig offenlegen, wer was entwickelt, die KI auf verschiedene Unternehmen und Länder verteilen und den gesamten Prozess umkehrbar halten.
USA und China in den Hauptrollen
Der heikelste Teil ist die Vereinbarung zwischen den beiden Großmächten selbst. Alexanders Angaben zufolge verbrachte Kokotajlos Team die meiste Zeit damit zu begründen, warum China ihr zustimmen würde. Ihr Argument lautet, dass Peking ähnliche Sorgen hat wie Washington. Die Dinge entwickeln sich zu schnell, die Gesellschaft wird erschüttert, und niemand kann eine Katastrophe ausschließen. Hinzu kommt ein weiterer Grund: China liegt in diesem Wettstreit derzeit zurück, sodass ihm ein erzwungenes Unentschieden paradoxerweise zugutekäme.
Das Problem ist das Vertrauen. Keine der Großmächte vertraut der anderen, daher muss die Vereinbarung so gestaltet sein, dass sie selbst dann nicht umgangen werden kann, wenn der Rivale mit allen Mitteln zu betrügen versucht. Die Lösung beruht auf der Kontrolle von Chips. Nur wenige Unternehmen können leistungsfähige KI-Chips entwerfen, darunter NVIDIA in den USA oder Huawei in China, und nur eine Handvoll Fabriken kann sie herstellen, etwa TSMC in Taiwan, Intel in den USA oder das chinesische Unternehmen SMIC. Sie alle haben ihren Sitz in den USA, in China oder in Staaten, die von beiden Mächten an der kurzen Leine gehalten werden.
Beide Länder legen offen, welche Chips sie kaufen, ermitteln den Standort der bereits vorhandenen Chips und verlagern sie in überwachte Rechenzentren, in die die andere Seite Inspektoren entsenden darf. Die Autoren schätzen, dass sich auf diese Weise rund achtundneunzig Prozent der vorhandenen Chips zurückverfolgen lassen. Die verbleibenden knapp zwei Prozent stellen ein dauerhaftes Problem dar, weil jemand gerade mit ihnen heimlich ein gefährliches militärisches Modell trainieren könnte. Große Rechenzentren lassen sich dabei nur schwer verbergen. Sie sind sogar aus dem Weltraum sichtbar.
Als Absicherung soll etwas dienen, das das Dokument mit nuklearer Abschreckung vergleicht. Neue chinesische Rechenzentren würden in Kanada und amerikanische in der Mongolei gebaut, damit der Gegner sie im Konfliktfall leichter angreifen könnte. Sollte die Vereinbarung scheitern, würde das Gastgeberland versuchen, die ausländischen Anlagen zu beschlagnahmen, und der Eigentümer würde sie zerstören, damit sie nicht in die Hände des Feindes fallen.
Die Arbeit verschwindet, aber Geld gibt es für alle
Die weltweite Rechenleistung soll von zwanzig Millionen H100-Einheiten im Jahr 2026 auf sechzig Milliarden im Jahr 2034 steigen. Das reale Wachstum des amerikanischen BIP wird in manchen Phasen der 2030er-Jahre fünfzig Prozent pro Jahr erreichen, statt der üblichen drei Prozent.
Aufgrund der Automatisierung sinkt die Beschäftigungsquote in den USA von zweiundsechzig Prozent im Jahr 2027 auf zwölf Prozent bis 2040. Darauf haben die Autoren eine Antwort. Sie würden eine sogenannte Bürgerdividende einführen, also eine Zahlung an jeden erwachsenen Amerikaner aus den Einnahmen, die der Staat von Unternehmen für die Erlaubnis zur Nutzung von Rechenleistung und Robotern erhebt. Und sie würde schwindelerregend steigen. Von fünfundvierzigtausend Dollar pro Person im Jahr 2032 auf eine Million bis 2035 und zehn Millionen bis 2039.
In der Zwischenzeit würden Millionen und später Milliarden von Modellen auf dem Niveau der besten menschlichen Gehirne Krankheiten, gesellschaftliche Probleme und auch die Sicherheit der KI selbst lösen. Alexander nennt dies ein Land der Genies im Rechenzentrum. Die Sicherheit beruht dabei nicht darauf, dass die Menschen den Modellen hundertprozentig vertrauen würden, sondern auf Kontrolle. Die KI bleibt in einer überwachten Umgebung eingeschlossen, aus der sie selbst dann nicht entkommen kann, wenn sie es wollte. Erst wenn die Menschen sicher sind, dass die Modelle zuverlässig sind, sollen sie dem Szenario zufolge um das Jahr 2040 die gefährlichsten Hebel unter ihre Kontrolle bekommen, etwa Atomwaffen, damit kein Mensch sie missbrauchen kann.
Plan B bis S: Was geschieht, wenn es nicht funktioniert
Um die Vorzüge von Plan A hervorzuheben, haben die Autoren ihm vier düsterere Varianten gegenübergestellt. Plan B geht davon aus, dass die USA eine Koalition von Verbündeten bilden und Druck auf China ausüben, einschließlich Cyberangriffen und Angriffen auf ausländische Projekte. Er endet mit der Wahl zwischen dem Verlust der Kontrolle über die KI und einem Krieg. Plan C sieht den Versuch einer Vereinbarung mit Peking vor, ergänzt durch nationale Regeln, doch unter dem Druck der Unternehmen wird die Pause schnell aufgehoben, und es droht die dauerhafte Herrschaft einer kleinen Gruppe, die die Superintelligenz kontrolliert. Plan D ist ein uneingeschränkter Wettlauf mit minimalen Beschränkungen und birgt das Risiko eines Kontrollverlusts, einer extremen Machtkonzentration und eines Dritten Weltkriegs. Plan S bedeutet einen vollständigen und zeitlich unbegrenzten Stopp der fortgeschrittenen Entwicklung, wobei die Gefahr besteht, dass die Vereinbarung mit der Zeit zerfällt und der Wettlauf unter schlechteren Bedingungen wieder beginnt.
Die Autoren selbst räumen ihrem Favoriten ordentliche Chancen ein. Plan A geben sie eine zweiundvierzigprozentige Chance auf eine großartige Zukunft, der Wettlaufvariante dagegen nur zehn Prozent.
Experten warnen, dass die Welt nicht nur aus Washington und Peking besteht
Die Kritik ließ nicht lange auf sich warten. Der Analyst Ben Reid, der den Plan aus Neuseeland kommentiert, räumt ein, dass er sowohl den Wachstumskurven der KI-Fähigkeiten als auch den wirtschaftlichen Auswirkungen der Automatisierung Glauben schenkt. Am geopolitischen Teil des Szenarios zweifelt er jedoch stark. Ihn stört, dass das gesamte Konstrukt widersprüchlich ist und den Rest der Welt wie Zuschauer behandelt, wie Figuren, die keinen Einfluss auf die Handlung haben. Hundertneunzig Länder sind in seinen Augen nur Kulisse.
Reid weist auch auf eine Schwachstelle im Fundament selbst hin. Das Szenario enthält nur wenig eigene Forschung zur chinesischen KI-Entwicklung, berücksichtigt chinesische Dokumente kaum und stützt sich weder auf Gespräche mit dortigen Forschern noch mit Politikern. Stattdessen basiert es hauptsächlich auf westlichen Geheimdiensteinschätzungen. Dabei veröffentlichen chinesische Labore ihre Modelle bislang offener als amerikanische, was die gesamte Erzählung über chinesische Geheimhaltung auf den Kopf stellt.
Ähnlich äußert sich Richard Ngo, der zugleich Berater des Projekts ist. Seiner Ansicht nach sind Überlegungen, die von vornherein davon ausgehen, dass sich die USA und China äußerst feindselig verhalten werden, an sich schädlich, weil sie aus der Feindseligkeit eine sich selbst erfüllende Prophezeiung machen. Zugleich behauptet er, dass sich Chinas Führung eher auf Stabilität konzentriert und langfristige Planung gewohnt ist, sodass sie wahrscheinlich vorsichtig vorgehen und nicht kopflos auf eine unkontrollierbare Technologie zusteuern wird.
Der schwerwiegendste Einwand richtet sich gegen die Annahme, dass leistungsfähige KI nur in großen, zählbaren Gebäuden entstehen wird. Verteilte Rechenleistung, das Training über viele Geräte hinweg und die zunehmende Effizienz der Algorithmen bedeuten Reid zufolge, dass es bald womöglich kein einzelnes Rechenzentrum mehr geben wird, das kontrolliert werden könnte. Sollte das zutreffen, verliert das gesamte ausgefeilte Überprüfungssystem seinen Sinn. Und die Abschreckung durch die Zerstörung von Rechenleistung selbst schafft seiner Ansicht nach genau den falschen Anreiz. Sie zwingt nämlich beide Seiten dazu, Rechenleistung zu verstecken und zu verteilen, wodurch die Überprüfbarkeit untergraben wird, auf der Plan A beruht.
