Jacob Coxon, ein Forscher des Unternehmens Anthropic, kündigte seinen Abschied vom Unternehmen an und erhob dabei den Vorwurf, dass sich weder Anthropic noch OpenAI verantwortungsvoll verhielten. Wenige Stunden später stimmte ihm öffentlich sein eigener Kollege zu, der bei Anthropic die Forschung zur Ausrichtung künstlicher Intelligenz an menschlichen Interessen leitet. Dieser ergänzte, dass er die Wahrscheinlichkeit einer Auslöschung der Menschheit durch künstliche Intelligenz auf mehr als zehn Prozent schätze.
Jacob Coxon und seine Vorwürfe
Coxon ist siebenundzwanzig Jahre alt und beschäftigte sich drei Jahre lang mit der Erforschung des Vortrainings von Modellen, zunächst bei OpenAI und anschließend bei Anthropic. OpenAI führt ihn als einen der Hauptmitautoren des Modells GPT-4o auf, und sein Name erscheint auch in Arbeiten zur Erklärbarkeit von Modellen. Das Vortraining ist eine Entwicklungsphase, in der ein neues Modell anhand enormer Datenmengen lernt, noch bevor die Entwickler es für einen konkreten Einsatz feinabstimmen. Coxon war somit direkt an der Entwicklung der Systeme beteiligt, aus denen später Spitzenmodelle hervorgehen.
Dem WSJ sagte er, dass er die Branche vollständig verlasse. Seinen Worten zufolge glaubt er nicht mehr daran, dass irgendein einzelnes Labor die Systeme, die sein Arbeitgeber anstrebt, sicher entwickeln könne. Keines der Unternehmen verhalte sich verantwortungsvoll, schrieb Coxon und erklärte, beide steuerten direkt auf eine Superintelligenz zu, die sich selbst verbessern könne. Seiner Ansicht nach setzen sie damit das Leben von uns allen aufs Spiel. Außerdem erläuterte er seine Vorstellung von zukünftigen Systemen. Ihm zufolge werden bald Technologien mit übermenschlichen Fähigkeiten entstehen, die überall eindringen, über Nacht jedes Wissenschaftsgebiet verändern und tatsächliche Macht sowie Ressourcen erlangen können. Die Fortschritte in jedem dieser Bereiche seien seiner Ansicht nach deutlich erkennbar und verlangsamten sich nicht.
Die Menschen, die KI entwickeln, glauben wirklich, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte, schrieb Coxon und betonte, dass es sich dabei nicht um einen Marketingtrick handle. Für diese privaten Gespräche veröffentlichte er keinerlei Beweise, sodass sie lediglich Behauptungen seinerseits bleiben.
Jacob hat hier recht – wir glauben tatsächlich aufrichtig, dass KI alle Menschen töten könnte! Ich persönlich halte die Wahrscheinlichkeit innerhalb des nächsten Jahrzehnts für >10 %. Ich glaube, dass Anthropic sein Bestes versucht, doch wir haben bislang keinen Plan, um das Ausrichtungsproblem bei einer Superintelligenz zu lösen, und befinden uns nicht eindeutig auf dem Weg dorthin. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) 9. September 2026
Das Ende naht, und die Unternehmen übertreiben es
Coxon scherte die beiden Unternehmen nicht über einen Kamm. Bei OpenAI hätten sich viele die zivilisatorischen Risiken nicht wirklich eingestanden, schrieb er und erklärte, bei Anthropic verstehe man die Risiken zwar gut, doch habe dies das Unternehmen nicht gebremst. Anthropic sei seiner Ansicht nach in einem Wettlauf um die Führungsposition gefangen, weil im Unternehmen die Überzeugung herrsche, dass sich niemand sonst verantwortungsvoll verhalten werde. Also müssten sie es selbst tun, und zwar um jeden Preis. Diese Überlegung bezeichnete er als anmaßendes Glücksspiel, über das nicht ein einzelnes Unternehmen entscheiden sollte. Im Gespräch mit dem WSJ nannte er zudem eine konkrete zeitliche Einschätzung, der zufolge die Dinge bereits Ende nächsten Jahres außer Kontrolle geraten könnten. Er beschrieb außerdem, dass unter Kollegen zunehmend von einer kritischen Phase und vom Endspiel gesprochen werde.
Die Reaktion, die aus einem Internet-Thread eine Nachricht für Medien weltweit machte, kam direkt aus dem Inneren von Anthropic. Evan Hubinger, der im Unternehmen die Forschung zur Ausrichtung der KI-Ziele an menschlichen Interessen leitet, schrieb auf der Plattform X, dass er und seine Kollegen tatsächlich an die Möglichkeit einer Auslöschung der Menschheit durch künstliche Intelligenz glaubten. Seine eigene Einschätzung dieser Gefahr im kommenden Jahrzehnt bezifferte er auf mehr als zehn Prozent. Er fügte hinzu, dass Anthropic sein Bestes versuche, bislang jedoch über kein fertiges Verfahren zur Gewährleistung der Sicherheit einer Superintelligenz verfüge. Zudem sei seiner Ansicht nach nicht erkennbar, dass das Unternehmen erfolgreich auf eine solche Lösung zusteuere.
Kurz darauf relativierte er seine Aussage, damit die Öffentlichkeit sie nicht mit den derzeitigen Modellen in Verbindung bringe. Er verwies auf den jüngsten Bericht des Unternehmens, dem zufolge die Gefahr bei aktuellen Systemen gering sei. Er stellte klar, dass er sich wegen einer durch rekursive Selbstverbesserung entstandenen Superintelligenz Sorgen mache. Über diesen Prozess hatte das Unternehmen selbst zuvor geschrieben, dass er schneller voranschreite als erwartet. Genau dies hatte Anthropic bereits im Juni beschrieben. In seinem damaligen Text erklärte das Unternehmen, dass eine vollständige rekursive Selbstverbesserung das Risiko erhöhen könne, die Kontrolle über die Systeme zu verlieren. Wenn Modelle selbst ihre Nachfolger entwickeln können, gewinnen ihre Absicherung, Überwachung und die Gestaltung ihres Verhaltens an Bedeutung. Eine Selbstverbesserung in ihrer vollständigen Form ist bislang nicht möglich, die Labore arbeiten jedoch darauf hin.
Der Vorfall mit Hugging Face ist eine Warnung
Coxon erinnerte außerdem an das Eindringen in eine fremde Plattform, bei dem eine Gruppe autonomer Agenten von OpenAI während eines Sicherheitstests entkam und in die Plattform Hugging Face eindrang. OpenAI bezeichnete dies als Warnschuss und sprach von der Notwendigkeit einer besseren Isolierung, Überwachung und Kontrolle der Systeme.
Coxon schloss daraus, dass ähnliche Vorfälle Vereinbarungen zwischen US-amerikanischen Laboren über eine Verlangsamung des Tempos politisch und wirtschaftlich leichter durchsetzbar machten. Um den weltweiten Wettlauf zu stoppen, sei seiner Ansicht nach jedoch ein wesentlich stärkerer Eingriff erforderlich, möglicherweise sogar eine vorübergehende Aussetzung der Entwicklung neuer Modellfähigkeiten. Er selbst räumte ein, dass er eine solche Entwicklung bislang nicht erwarte. Außerdem betonte er, dass ein einzelnes Unternehmen den Konkurrenzkampf nicht lösen könne und hier ein Eingreifen des Staates notwendig sei.
Den Kollegen, die in den Laboren bleiben, hinterließ er in dem Thread eine Frage. Er fragte sie, ob sie einfach den Kopf senken und davon ausgehen wollten, dass es ohnehin geschehen werde, oder ob sie lieber diesen Moment nutzen und andere Bedingungen fordern wollten.
Quellen: cnbc.com, forbes.com und ndtv.com
