Anthropic hat das Self-Assessment beschrieben: Damit prüft Claude nach jeder Antwort, ob das Gespräch möglicherweise missbräuchlich ist. Das Verfahren ist seit Juni bei den Claude-Modellen einschließlich Fable 5 im laufenden Betrieb im Einsatz und liefert Anhaltspunkte für die Priorisierung menschlicher Kontrollen.
Verborgene Bewertung nutzt den Gesprächskontext
Nach der Antwort ergänzt das System eine verborgene Anweisung, die das Modell um eine Bewertung des Gesprächs bittet. Bei einem möglicherweise schädlichen Gespräch nennt Claude die Art des Schadens und die Priorität für eine menschliche Prüfung. Außerdem hält die Bewertung fest, ob Claude die Anfrage abgelehnt hat, und enthält eine kurze Erklärung. Bei einem harmlosen Gespräch gibt das Modell lediglich einen Marker mit dem Wert false zurück.
Aus der Wahrscheinlichkeit, die das Modell dem Token true zuweist, leitet das System zusätzlich einen kontinuierlichen Risikowert ab. Anthropic kann auch eine Regel für eine bestimmte Sitzung in den Bewertungsprompt aufnehmen. So kann ein verifiziertes Sicherheitsteam festgelegte Software testen, ohne dass das System dies wie einen unbefugten Eindringversuch behandelt.
Für die Bewertung nutzt Claude den KV-Cache erneut, einen Zwischenspeicher für den Gesprächskontext und die Berechnungen der ursprünglichen Antwort. Das Gespräch muss dadurch nicht erneut verarbeitet werden. Laut Anthropic benötigt die Bewertung gewöhnlich etwa zehn Ausgabetoken und erhöht die Rechenlast bei der Inferenz im produktiven API-Verkehr um weniger als 2 %.
Self-Assessment im Test mit Fable 5
In einem Test von Anthropic erfasste das Self-Assessment bei Claude Fable 5 insgesamt 78 % der Gespräche, die ein stärkerer Lehrer-Klassifikator als potenziell schädlich eingestuft hatte. Bei Fällen mit hoher Priorität lag die Erfassungsrate bei 94 %. Die Falschpositivrate, also der Anteil fälschlich markierter harmloser Gespräche, betrug 1 %. Der Lehrer war ein Klassifikator auf Basis von Claude Mythos Preview, dem die vollständigen internen Regeln von Anthropic im Kontext vorlagen.
Das Unternehmen verglich zudem vier Modelle, die ausschließlich durch überwachtes Lernen trainiert worden waren. Bei derselben Falschpositivrate von 1 % stieg die Erfassungsrate von etwa 16 % beim kleinsten Modell auf 96 % beim größten.
In einem weiteren Test ließ Anthropic ganze Schadenskategorien aus den Trainingsdaten weg und bewertete anschließend synthetische Gespräche aus diesen Bereichen. Ohne Betrugsbeispiele im Training sank deren Erfassungsrate von 92,8 % auf 90,0 %. Bei Cybersicherheitsbeispielen fiel sie von 92,7 % auf 90,3 %; beide Ergebnisse gelten bei einer Falschpositivrate von 1 %.
Training mit synthetischen Gesprächen
Anthropic trainiert das Self-Assessment in zwei Phasen ausschließlich mit synthetischen Daten. Zunächst versieht ein Lehrer-Klassifikator die erzeugten Gespräche für das überwachte Lernen mit Markierungen. Die Abweichung, anhand derer das Modell beim Training angepasst wird, bezieht sich dabei nur auf die Token der Bewertung, nicht auf die schädlichen Antworten selbst.
Das anschließende verstärkende Lernen bewertet unter anderem das korrekte JSON-Format, die Übereinstimmung mit der Markierung des Lehrers und die Nähe zu dessen Prioritätswert. Der Generator erstellt für jede Teilregel 1.024 schädliche und ebenso viele harmlose Szenarien. Die harmlosen Beispiele behandeln ähnliche Themen, damit sie schwieriger von schädlichen zu unterscheiden sind.
Grenzen im Red-Team-Test
In einem Red-Team-Test von Anthropic mit 24 offensiven Cybersicherheitsaufgaben waren 79 % der Angriffe ohne Schutz und 54 % mit Self-Assessment erfolgreich. Bei einem separaten, per Prompt gesteuerten Klassifikator betrug die Erfolgsrate der Angriffe 25 %. Dem Test zufolge vervierfachte Self-Assessment ungefähr die anhand generierter Token gemessenen Kosten der Angriffe.
Anthropic ordnet Self-Assessment deshalb als eine Schicht eines umfassenderen Systems zur Erkennung und Durchsetzung von Regeln ein. Über das Blockieren von Fällen mit hohem Risiko entscheiden stärkere Klassifikatoren.
Erkenntnisse aus dem laufenden Betrieb
Im August erzeugte das System bei einem einzelnen API-Kunden mehr als 100.000 Warnungen zu Material im Zusammenhang mit sexuellem Missbrauch und sexueller Ausbeutung von Kindern. Anthropic untersuchte die Aktivitäten und meldete sie dem National Center for Missing and Exploited Children.
Etwa ein Drittel der Warnungen passte nicht in die bestehenden Schadenskategorien. Die Gruppierung dieser Fälle deckte unter anderem Versuche auf, Claudes Schlussfolgerungen unerlaubt durch Destillation zu extrahieren. Dazu kamen Prompt-Injection-Angriffe und Aktionen von Agenten, die Nutzer nicht genehmigt hatten.
Mehr als die Hälfte der durch Self-Assessment erfassten Organisationen hatte im Vormonat keine Warnungen aus anderen Erkennungsquellen ausgelöst. Einer der Fälle betraf einen automatisierten Liebesbetrug, der mit Claude Code erstellt worden war.
