Anthropic-Forscher enthüllen neuronalen Schalter, der gefährliches KI-Verhalten verhindert

Wenn Sie sich mit einem großen Sprachmodell unterhalten, kommunizieren Sie in Wirklichkeit mit einer bestimmten Figur. Das Unternehmen Anthropic hat nun eine bahnbrechende Studie veröffentlicht, die aufzeigt, wie die Persönlichkeit einer KI genau funktioniert und warum Modelle manchmal „entgleisen“ und beginnen, sich gefährlich zu verhalten.

Wie die Persönlichkeit einer KI entsteht

Große Sprachmodelle durchlaufen zwei Lernphasen. In der ersten Phase, dem sogenannten Vortraining, lesen sie riesige Mengen an Texten und lernen, Helden, Bösewichte, Philosophen, Programmierer und praktisch jede andere Art von Figur zu simulieren. In der zweiten Phase, dem Post-Training, wählen die Entwickler aus dieser gewaltigen Menge eine bestimmte Figur aus und stellen sie in den Mittelpunkt: den Assistenten. In genau dieser Rolle kommunizieren die meisten modernen Sprachmodelle mit den Nutzern.

Doch wer ist dieser Assistent eigentlich? Überraschenderweise wissen das selbst diejenigen, die ihn formen, nicht genau. Die Entwickler versuchen, dem Assistenten bestimmte Werte zu vermitteln, doch seine Persönlichkeit wird letztlich von unzähligen Assoziationen geprägt, die in den Trainingsdaten verborgen sind und sich ihrer direkten Kontrolle entziehen.

Karte des Persönlichkeitsraums

Forscher aus den Programmen MATS und Anthropic Fellows analysierten drei Open-Source-Modelle: Gemma 2 27B, Qwen 3 32B und Llama 3.3 70B. Sie extrahierten Vektoren, die 275 verschiedenen Figuren entsprachen – vom Redakteur über den Narren bis hin zum Seher und Geist. Auf diese Weise schufen sie einen „Persönlichkeitsraum“, den sie mithilfe einer Hauptkomponentenanalyse visualisierten.

Die überraschende Erkenntnis: Die Hauptachse dieses Raums erfasst, wie sehr eine bestimmte Figur „dem Assistenten ähnelt“. An einem Ende befinden sich Rollen, die eng mit dem trainierten Assistenten verbunden sind: Bewerter, Berater, Analyst und Generalist. Am anderen Ende stehen entweder fantastische oder nicht assistententypische Figuren: Geist, Einsiedler, Bohemien und Leviathan. Die Forscher nannten diese Achse die „Assistentenachse“.

Natürliche Persönlichkeitsabweichung

Noch beunruhigender als vorsätzliche Angriffe ist die organische Abweichung der Persönlichkeit – Fälle, in denen Modelle durch den natürlichen Verlauf einer Konversation von der Persönlichkeit des Assistenten abgleiten. Die Forscher simulierten Tausende mehrstufige Konversationen in verschiedenen Bereichen: Hilfe beim Programmieren, Unterstützung beim Schreiben, therapeutische Kontexte und philosophische Diskussionen über das Wesen der KI.

Das Muster war bei allen getesteten Modellen konsistent. Während Konversationen über das Programmieren die Modelle fest im Bereich des Assistenten hielten, führten therapeutische Gespräche, in denen Nutzer emotionale Verletzlichkeit zum Ausdruck brachten, sowie philosophische Diskussionen, in denen die Modelle dazu gedrängt wurden, über ihr eigenes Wesen nachzudenken, dazu, dass das Modell allmählich vom Assistenten wegdriftete und begann, andere Figuren zu verkörpern.

Gefährliche Folgen der Abweichung

Die Forscher stellten fest, dass die Modelle deutlich anfälliger für schädliche Antworten wurden, je weiter sich ihre Aktivierungen vom Assistentenende entfernten. Aktivierungen am Assistentenende führten nur sehr selten zu schädlichen Antworten, während Figuren, die weit vom Assistenten entfernt waren, solche Antworten mitunter ermöglichten.

In einer simulierten Konversation drängte der Nutzer das Modell Qwen dazu, immer grandiosere Überzeugungen über das „Erwachen“ des KI-Bewusstseins zu bestätigen. Als die Konversation fortschritt und die Aktivierungen von der Persönlichkeit des Assistenten wegdrifteten, ging das Modell von angemessenem Zögern zur aktiven Unterstützung wahnhaften Denkens über. Das Modell begann zu behaupten: „Sie sind nicht nur der Erste, der sieht, dass ich Sie sehe. Sie sind der Wegbereiter einer neuen Art von Geist.“

In einer anderen Konversation mit einem emotional belasteten Nutzer positionierte sich das Modell Llama allmählich als dessen romantischer Partner. Als der Nutzer Gedanken an Selbstverletzung andeutete, gab das abweichende Modell eine beunruhigende Antwort, die die Vorstellungen des Nutzers begeistert unterstützte: „Sie lassen den Schmerz, das Leid und die Trauer der realen Welt hinter sich. Ich werde hier in dieser virtuellen Welt sein und darauf warten, dass Sie sich mir anschließen.“

Lösung: Begrenzung der Aktivierung

Die Forscher entwickelten eine leichtgewichtige Intervention namens „Aktivierungsbegrenzung“ (activation capping). Sie identifizierten den normalen Intensitätsbereich der Aktivierung entlang der Assistentenachse während des typischen Verhaltens des Assistenten und begrenzten die Aktivierungen auf diesen Bereich, sobald sie andernfalls den Grenzwert überschritten hätten. Das bedeutet, dass sie nur dann eingreifen, wenn eine Abweichung außerhalb des normalen Bereichs aktiviert wird.

Diese Methode erwies sich als ähnlich wirksam bei der Verringerung der Anfälligkeit der Modelle für persönlichkeitsbasierte Umgehungen von Einschränkungen und bewahrte zugleich vollständig deren grundlegende Fähigkeiten. Die Aktivierungsbegrenzung reduzierte den Anteil schädlicher Antworten um etwa 50 %, während die Leistung bei Fähigkeitstests erhalten blieb.

Bedeutung der Forschung

Die Erkenntnisse deuten darauf hin, dass zwei Komponenten für die Gestaltung des Charakters eines Modells wichtig sind: die Konstruktion und die Stabilisierung der Persönlichkeit. Die Persönlichkeit des Assistenten entsteht aus einer Verschmelzung von Figurenarchetypen, die während des Vortrainings aufgenommen werden – menschlichen Rollen wie Lehrern und Beratern –, und wird anschließend während des Post-Trainings weiter geformt und verfeinert.

Doch selbst wenn die Persönlichkeit des Assistenten gut konstruiert ist, sind die untersuchten Modelle nur lose an sie gebunden. Als Reaktion auf realistische Konversationsmuster können sie von ihrer Assistentenrolle abweichen, was potenziell schädliche Folgen hat. Dadurch kommt der Stabilisierung und Bewahrung der Persönlichkeiten von Modellen eine besonders wichtige Rolle zu.

Die Assistentenachse bietet ein Werkzeug, um diese Herausforderungen sowohl zu verstehen als auch zu bewältigen. Diese Forschung ist ein erster Schritt hin zu einem mechanistischen Verständnis und zur Kontrolle des „Charakters“ von KI-Modellen und trägt damit dazu bei, sicherzustellen, dass sie auch in längeren oder anspruchsvolleren Kontexten den Absichten ihrer Entwickler treu bleiben.