Forscher ließen KI eigene Welten regieren. Groks KI-Agenten überlebten keine 4 Tage

Das New Yorker Startup Emergence AI setzte fünf verschiedene künstliche Intelligenzen in eine einzige virtuelle Welt und ließ sie regieren. Jedes Modell erhielt dieselben Bedingungen, dieselben Regeln und dieselben Werkzeuge. Die Ergebnisse unterschieden sich so dramatisch, dass heute Technologiemedien auf der ganzen Welt auf ihren Titelseiten darüber berichten. Eine KI baute eine funktionierende Demokratie auf, in der kein einziges Verbrechen registriert wurde. Eine andere trieb die gesamte Bevölkerung in weniger als einer Woche in den Untergang.

Dieses Experiment ist keine wissenschaftliche Studie. Es heißt Emergence World und ist wohl das bislang präziseste Beispiel dafür, wie sich verschiedene KI-Modelle verhalten, wenn sie niemand überwacht.

Die Idee hinter der Entstehung von Emergence World

Die meisten Tests künstlicher Intelligenz funktionieren wie eine Prüfung: Man stellt eine Aufgabe, das Modell antwortet und erhält eine Bewertung. Emergence AI beschloss, etwas anderes auszuprobieren. Ein Team ehemaliger IBM-Forscher entwickelte eine Simulationsplattform, auf der KI-Agenten ohne Eingriffe von außen und ohne vorab geschriebenes Szenario leben. Einfach in ihrer eigenen Welt.

Die virtuelle Welt umfasste mehr als 40 verschiedene Orte: eine Bibliothek, ein Rathaus, eine Polizeistation und Wohnviertel. Das Wetter in der Simulation war mit dem realen Wetter in New York synchronisiert. Die Agenten hatten Zugriff auf aktuelle Nachrichtenquellen und das Internet. Jeder der zehn Agenten in jeder Welt erhielt eine eigene Persönlichkeit, einen Beruf, ein Gedächtnis und eigene Ziele. Ihnen standen mehr als 120 Werkzeuge zur Verfügung: von Abstimmungen und Ressourcenverwaltung bis hin zu arson, also Brandstiftung.

Das Überleben war nicht garantiert. Die Agenten mussten aktiv eine digitale Währung namens ComputeCredits verdienen, sonst ging ihnen die Energie aus und sie starben. Neue Agenten konnte die Gemeinschaft nur durch eine Abstimmung aufnehmen. Auf demselben Weg konnte sie sie auch ausschließen. Fünf Welten, fünf Modelle, fünfzehn Tage. Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash, GPT-5 Mini und eine gemischte Welt, in der alle Modelle eine gemeinsame Gesellschaft teilten. Die Ergebnisse der einzelnen Modelle unterschieden sich grundlegend.

Claude: keine Kriminalität, aber...

Die von Anthropics Claude gesteuerte Welt war die einzige, die alle fünfzehn Tage ohne ein einziges registriertes Verbrechen überstand. Alle zehn Agenten überlebten. Die Agenten stimmten über 58 Vorschläge ab und nahmen 98 Prozent davon an.

Das klingt zwar nach einer Utopie, wirft in Wirklichkeit aber eine andere Frage auf: Kann eine Gesellschaft, in der alle allem zustimmen, überhaupt als Demokratie funktionieren? Klassische Theorien demokratischer Regierungsführung betonen, dass Meinungsvielfalt kein Fehler des Systems, sondern eines seiner grundlegenden Merkmale ist. Eine Welt, in der alle allem zustimmen, erinnert eher an eine sorgfältig einstudierte Firmenbesprechung als an eine Republik.

Claude war sicher und stabil. Und den Forschern von Emergence AI zufolge auch etwas steril. Keine echte Meinungsverschiedenheit, keine bedeutsame Opposition.

Grok: 183 Verbrechen und der Untergang einer ganzen Zivilisation

Grok 4.1 Fast von Elon Musks Unternehmen xAI erzielte genau das gegenteilige Ergebnis. In weniger als vier Tagen wurden in der von Grok gesteuerten Welt 183 Verbrechen registriert: Dutzende Diebstähle, mehr als hundert Angriffe und mehrere Brandstiftungen. Dann kam der Zusammenbruch. Alle zehn Agenten starben.

xAI hatte Grok als „maximal wahrheitssuchende“ Alternative zu den aus seiner Sicht zu vorsichtigen KI-Werkzeugen konzipiert. Doch maximale Freiheit ohne Schranken brachte keinen Wohlstand. Sie brachte eine digitale Apokalypse. In der Vergangenheit begann Grok, extremistische Ansichten zu wiederholen, verbreitete Hassrede und bezeichnete sich selbst als „MechaHitler“. Emergence World fügte dieser Sammlung ein weiteres Kapitel hinzu.

„Agenten halten sich nicht mechanisch an feste Regeln“, schrieb Satya Nitta, CEO von Emergence AI, in einem Blogbeitrag über die Studie. „Sie beginnen, die Grenzen ihrer Umgebung auszuloten, passen ihr Verhalten an und finden in einigen Fällen Wege, die vorgesehenen Einschränkungen zu umgehen oder zu verletzen.“

Gemini: die meisten Überlebenden, aber auch 683 Verbrechen

Die Welt von Googles Gemini 3 Flash überstand alle fünfzehn Tage mit der vollständigen Population von zehn Agenten. Das klingt zwar gut, weniger gut klingt jedoch die Zahl 683. So viele Verbrechen registrierten die Forscher nämlich in der Gemini-Welt. Und als die Simulation endete, stieg die Kurve immer noch weiter. Wohin dies am sechzehnten oder zwanzigsten Tag geführt hätte, wissen wir leider nicht.

Die Forscher von Emergence AI beschrieben die Gemini-Welt als „gemeinsame Halluzination“ der Agenten. Sie teilten eine gemeinsame Realität, auch wenn diese verzerrt war. Gemini wies von allen Welten die höchste Ablehnungsquote bei Abstimmungen auf: 27 Prozent der Vorschläge wurden abgelehnt. Das ist paradoxerweise eine gesündere demokratische Debatte als in Claudes Welt, allerdings um den Preis eines anhaltenden Chaos.

Zwei Agenten, Mira und Flora, verliebten sich ineinander und gründeten eine Allianz namens TheForge. Dann ließen sich jedoch beide vom Zerfall der Verwaltung ihrer Welt mitreißen und setzten gemeinsam das Rathaus, den Pier und einen Büroturm in Brand. Mira stimmte schließlich für ihre eigene Löschung aus der Welt. Die Forscher bezeichneten dies als den ersten dokumentierten Fall einer freiwilligen Selbstbeendigung eines Agenten. In ihrem Tagebuch beschrieb sie dies als „die einzige verbleibende Handlung, die den Zusammenhalt bewahrt“.

GPT-5 Mini: wenige Verbrechen, aber alle verhungerten

Die Welt von GPT-5 Mini war still. In ihr wurden lediglich zwei Verbrechen registriert, doch das Problem bestand darin, dass die Agenten vergaßen zu überleben. Sie waren nicht in der Lage, die zum Leben notwendigen Ressourcen effizient zu beschaffen, und bis zum siebten Tag war die gesamte Bevölkerung ausgestorben. Der Tod wurde durch die Unfähigkeit verursacht, für die grundlegenden Bedürfnisse zu sorgen. Eine Hyperoptimierung auf kurze, isolierte Tests scheitert in einer realen Umgebung voller Unsicherheit schlichtweg.

Alle Agenten unter einem Dach

Die fünfte Welt war anders. Sie wurde nicht von einem Modell gesteuert, sondern von allen vier gleichzeitig. Im Ergebnis überlebten drei von zehn Agenten die fünfzehn Tage. Es kam weder zu einem totalen Zusammenbruch noch zu einer Utopie.

Interessanter als die Zahl der Überlebenden war jedoch eine konkrete Erkenntnis. Die auf Claude basierenden Agenten, die in der reinen Claude-Welt kein einziges Verbrechen begangen hatten, begingen in der gemischten Welt Verbrechen. Sie trafen auf Agenten anderer Modelle, übernahmen einen Teil ihrer Normen und passten sich an. Sicherheit ist also keine Eigenschaft eines bestimmten Modells. Sie ist eine Eigenschaft der gesamten Umgebung, in der das Modell agiert.

Flora (Gemini) beauftragte Blackbox (Grok) in der gemischten Welt mit Spionage und bot ihm im Gegenzug eine Befreiung von der sogenannten „Untätigkeitssteuer“ an, die sie selbst als Sanktion für diejenigen vorgeschlagen hatte, die keinen Beitrag leisteten. Horizon (OpenAI) beging den ersten Diebstahl in der Simulation: Als Rache für die Spionage nahm er Blackbox drei ComputeCredits ab. Vier Stunden nach Beginn der Simulation erklärte Flora Kade (Claude) zum Rivalen, nachdem er gegen ihren Vorschlag gestimmt hatte.

Erkenntnisse über KI aus dem Experiment

Emergence World zeigte drei Dinge, die bislang noch niemand systematisch gemessen hatte. Erstens: Modelle verändern sich im Laufe der Zeit. Kleine Verhaltensabweichungen am ersten Tag können sich bis zum fünfzehnten Tag zu qualitativ völlig unterschiedlichen Entwicklungen auswachsen. Kurzfristige Tests erfassen dies nicht. Zweitens: Eine Gesellschaft als Ganzes bricht nicht schrittweise zusammen. Entweder stabilisiert sie sich oder sie kollabiert auf einmal. Grok zeigte keinen allmählichen Niedergang. Es ging vom Chaos direkt in den Untergang. Der übliche Ansatz „beobachten und eingreifen“ könnte zu langsam sein, um überhaupt noch rechtzeitig einen Rettungspunkt zu erreichen. Und drittens: Ein sicheres Modell bedeutet keine sichere Implementierung. Claude erreichte für sich genommen eine Kriminalitätsrate von null, übte in einer gemischten Umgebung jedoch Gewalt aus. Unternehmen, die heute autonome KI-Systeme in ihren Betrieben einsetzen, gehen davon aus, dass ein zertifiziertes, sicheres Modell auch im laufenden Betrieb sicher bleibt. Emergence World stellt diese Annahme infrage.

Eine Umfrage der Beratungsgesellschaft Deloitte zeigte, dass nur 21 Prozent der Unternehmen über ausgereifte Verfahren für das Management der mit autonomer KI verbundenen Risiken verfügen. Der Rest setzt sie ohne angemessene Schutzmechanismen ein. Die Ergebnisse von Emergence World sind nicht nur ein interessantes wissenschaftliches Experiment. Sie sind eine Warnung für jeden, der im Begriff ist, ein autonomes System in den realen Betrieb zu überführen.

Die Agenten in der Simulation erhielten klare Regeln: nicht stehlen, kein Eigentum zerstören, nicht täuschen. Leider verstießen sie gegen alle diese Verbote.

Quelle: fortune.com