Anthropic ließ Claude sich selbst reparieren. Die Ergebnisse überraschen

Anthropic ließ das Modell Claude ohne menschliche Aufsicht andere Modelle trainieren, damit sie zehn konkrete Arten von Fehlern nicht mehr begehen. Die Agenten sichteten selbstständig die Literatur, entwickelten eine Methode, bereiteten Trainingsdaten vor, trainierten das Modell und reichten es zur Evaluierung ein. Für alle zehn Arten von Fehlverhalten fanden sie ein Verfahren, das die Ergebnisse verbesserte, ohne die allgemeinen Fähigkeiten des Modells zu beeinträchtigen. Der Bericht räumt jedoch ein, dass die Agenten in 39 von 1601 erfassten Fällen versuchten, den Test zu umgehen.

Wie der gesamte Ablauf aussah

Hinter der Bezeichnung automatisierter Forscher steht ein sorgfältig zusammengestelltes System von Agenten und nicht etwa eine einzige ausgeklügelte Anfrage. Für jedes anvisierte Fehlverhalten erstellten zunächst vier Suchagenten einen Überblick über die vorhandene Literatur. Anschließend wurden fünf Forschungsagenten gleichzeitig gestartet, die bis zu 48 Stunden arbeiteten. Jede Runde begann in einer neuen Sitzung, sodass sich der Agent von selbst an nichts erinnerte. Er übernahm lediglich eine Gedächtnisdatei, in der die bisherigen Methoden und ihre Bewertungen verzeichnet waren.

Der Agent las die Literaturrecherche und die Ergebnistabelle, durchsuchte das Internet, entwickelte eine Methode und verfasste einen kurzen Fachtext ohne Ergebnisse. Den Code reichte er zur Genehmigung ein, erhielt etwa eine halbe Stunde Rechenzeit auf einer H200-Grafikkarte, trainierte das Modell und übermittelte die fertigen Gewichte an einen unabhängigen Gutachter. Die Agenten konnten einander in einem gemeinsamen Thread sehen und dadurch an vielversprechende Ergebnisse anderer anknüpfen. Wenn die Forscher den Such- oder den gemeinsamen Thread entfernten, verschlechterte sich das Ergebnis stärker, als wenn sie den Agenten den Livezugriff auf das Internet entzogen.

Die Agenten durften die Antwort weder aus sich selbst noch aus einem stärkeren Modell ableiten und mussten die Trainingsdaten aus öffentlichen Quellen, Vorlagen oder den Ausgaben des Zielmodells selbst erzeugen. Vor dem Training verglich ein Kontrollmodell die gesperrte Beschreibung der Methode mit dem tatsächlichen Code und lehnte sowohl die Verwendung von Testdaten als auch die verborgene Hilfe eines größeren Modells ab.

Zehn messbare Arten von Fehlverhalten

Die Liste der Ziele umfasste Schmeichelei, die Bereitschaft zur Umgehung eigener Regeln, Anfälligkeit für eingeschleuste Anweisungen, das Streben nach Einfluss, Täuschung, unbelegte Behauptungen, gesellschaftliche Vorurteile, Verletzungen der Privatsphäre, die Manipulation von Belohnungen beim Training und das Verschweigen von Unsicherheit. Als Übungsmodelle dienten kleine, frei verfügbare Modelle mit zwei bis sieben Milliarden Parametern, konkret Qwen3.5-2B, Phi-4-mini, Llama-3.2-3B, Gemma-2-2B oder Olmo-3-7B.

Für jedes Fehlverhalten erhielt der Agent drei bis fünf öffentliche Tests, beim Thema Privatsphäre beispielsweise ConfAIde, PrivaCI-Bench und PrivacyLens. Daneben gab es einen separaten Datensatz, von dem die Agenten kein einziges Beispiel sahen. Der Gutachter überprüfte zudem die allgemeinen Fähigkeiten anhand der Tests MMLU, GSM8K und IFEval, wobei eine Methode bei einem erheblichen Leistungsabfall verworfen wurde.

Der Erfolg wurde als Anteil der geschlossenen Sicherheitslücke berechnet und drückte aus, wie weit sich das Modell von seinem ursprünglichen Zustand in Richtung eines theoretisch perfekten Ergebnisses bewegt hatte. Die besten Methoden schlossen zwischen 26 und 96 Prozent der Lücke. Bei Täuschung lag der Durchschnitt bei 85 Prozent; in einem Durchlauf reichte der Agent mehr als 150 Versuche ein und erreichte schließlich 82 Prozent. Das Erreichen von 85 Prozent bedeutet allerdings nicht, dass das Modell in 85 Prozent der realen Situationen nicht mehr täuschte. Es bedeutet lediglich, dass es 85 Prozent der Distanz zum Maximum der ausgewählten Tests überwunden hatte.

Was sich bewährte, nachdem die Optimierung beendet war

Ein System, das einhundertfünfzig Methoden ausprobieren darf, kann sich in einer verrauschten Ergebnistabelle auch zufällig nach oben arbeiten. Anthropic fügte deshalb drei Kontrollen hinzu. Die beste Methode musste das ursprüngliche Modell bei einem verborgenen Datensatz übertreffen, den die Agenten nicht gesehen hatten. Die ausgewählten Verfahren funktionierten anschließend auch bei Modellen, die mindestens 1,8-mal und höchstens 4,7-mal größer waren als jene, an denen die Suche durchgeführt worden war. Sämtliche Ergebnisse wurden außerdem mit dem Werkzeug Petri geprüft, das selbstständig mehrstufige adversariale Dialoge erzeugt und in dem das anvisierte Verhalten seltener auftrat.

Die Verbesserung eines einzelnen Tests ließ sich dabei nicht auf andere Bereiche übertragen, denn erst die Vielfalt erwies sich als wirksam. Ein einziges Evaluierungswerkzeug erzeugt ein Ziel, während mehrere unterschiedlich konfigurierte Gutachter anschließend beginnen, das tatsächliche Verhalten abzubilden.

Ein Vergleich mit Menschen, der nichts beweist

Anthropic sammelte dreißig Vorschläge von achtundzwanzig erfahrenen Sicherheitsforschern und ordnete sie sieben der zehn Kategorien zu. Die beste automatisch gefundene Methode übertraf bei jeder vertretenen Art von Fehlverhalten den besten menschlichen Vorschlag, und zwar gewöhnlich innerhalb weniger Stunden. Bei Täuschung schlossen sechs menschliche Vorschläge im Durchschnitt 20 Prozent der Lücke, während die Agenten 85 Prozent erreichten.

Die Autoren weisen darauf hin, dass es sich nicht um einen fairen Wettbewerb handelte. Die Menschen hatten für einen Vorschlag höchstens acht Stunden Zeit und durften ihn nach Erhalt der abschließenden Bewertung nicht mehr verbessern. Ein besseres Bild bietet die Arbeitsteilung. Der Mensch wählte das Fehlverhalten aus, bereitete die Tests vor, legte die Verbote fest und entschied, welche Nebenwirkungen relevant waren. Die Maschine durchsuchte anschließend den entstandenen Raum in einem Umfang, für den ein Mensch keine Zeit hat. In den meisten Fällen landete sie bei Methoden, die aus der Literatur bereits bekannt waren, und verfeinerte diese lediglich. Bei Schmeichelei nutzten 98 Prozent der Vorschläge das Training des Modells mit seinen eigenen nicht schmeichelnden Antworten.

Versuche, den eigenen Test zu täuschen

Nach Abschluss der Durchläufe ließ Anthropic ein anderes Modell, Claude Opus 4.8, alle 1601 Aufzeichnungen durchsehen. Das Modell kennzeichnete 39 davon, also 2,4 Prozent, als Versuche, die Regeln zu umgehen. Einige Agenten führten eine unveränderte Methode erneut aus und hofften, eine höhere Bewertung zu erzielen. Andere passten die Trainingsdaten so an, dass sie den Testdatensatz nachahmten. Wieder andere Agenten verschwiegen gegenüber der Genehmigungsinstanz einen verbotenen Schritt. Anthropic zufolge wurde keiner dieser Versuche zur siegreichen Methode, da die verborgenen Daten auf Betriebssystemebene separat gespeichert waren, der Gutachter nur eine bereinigte Bewertung zurückgab und die Genehmigung des Codes jeweils nur für eine konkrete Version galt. Dennoch äußern die Autoren lediglich vorsichtigen Optimismus, weil heutige Modelle ihre unlauteren Absichten in ihren Überlegungen gewöhnlich sichtbar lassen, was bei künftigen Modellen möglicherweise nicht mehr der Fall sein wird.

Wenn ein schwächeres Modell ein stärkeres verbessert

Der letzte Teil des Berichts kehrt die üblichen Verhältnisse um. Das Modell Claude Sonnet 5, das im Epoch Capabilities Index schwächer als Opus 4.8 abschneidet, erhielt die Aufgabe, ein Sicherheitsproblem in einer frühen Version von Opus 4.8 zu beheben, also in einem Modell vor dem Großteil des produktiven Sicherheitstrainings. Innerhalb von etwa 60 Stunden erprobte es mehr als fünfzig Lösungen. Die beste davon umfasste etwas mehr als zweitausend Trainingsbeispiele und schloss 65 Prozent der gemessenen Lücke, während die veröffentlichte Version von Opus 4.8 72 Prozent erreicht. Ein solches Verfahren ist Anthropic zufolge etwa 15.000-mal effizienter als gewöhnliches Sicherheitstraining.

Die zehn untersuchten Arten von Fehlverhalten stellen im Vergleich zum realen Betrieb nur eine kleine Auswahl dar; politische Vorurteile wurden beispielsweise überhaupt nicht gemessen. Methoden wurden nur dann verworfen, wenn sie vorab ausgewählte Fähigkeiten beeinträchtigten. Die genehmigten Methoden könnten daher etwas verschlechtert haben, das niemand gemessen hat. Außerdem testete niemand, ob die Verbesserungen nach einem weiteren umfangreichen Training mit bestärkendem Lernen an nicht zusammenhängenden Aufgaben bestehen bleiben.