Forscher von Anthropic haben eine Arbeit veröffentlicht, die ihre eigene Vorstellung davon verändert hat, wie das Modell Claude im Inneren funktioniert. Sie fanden heraus, dass es während des Trainings von selbst eine kleine Gruppe interner neuronaler Muster gebildet hat, die eine außergewöhnliche Rolle spielen. Diese Gruppe nannten sie J-Raum. Sie kann offenlegen, was das Modell „im Sinn hat“, selbst wenn es dies nirgends niederschreibt oder laut ausspricht.
Jedes Muster im J-Raum ist mit einem bestimmten Wort verknüpft. Wenn es aufleuchtet, bedeutet das nicht, dass Claude dieses Wort gerade ausspricht. Es bedeutet, dass er daran denkt. Vom sogenannten Notizblock oder der Gedankenkette, also dem Text, den das Modell für sich selbst schreibt, unterscheidet sich dies grundlegend. Der J-Raum arbeitet lautlos, ausschließlich in den internen Berechnungen des Netzwerks.
Die Entdeckung des J-Raums
Die Wissenschaftler gingen von einer Eigenschaft des menschlichen Bewusstseins aus. Einen Gedanken, dessen wir uns bewusst sind, können wir mit Worten beschreiben. Unbewusste Prozesse wie das Halten des Gleichgewichts beim Gehen können wir dagegen nicht beschreiben. Die Forscher suchten daher nach Mustern, die bestimmen, was Claude sagen könnte, wenn ihn jemand danach fragte. Die Methode nannten sie Jacobi-Linse. Für jedes Wort aus dem Wörterbuch findet sie ein internes Muster, das die Wahrscheinlichkeit erhöht, dass das Modell dieses Wort irgendwann ausspricht. Als sie die Linse auf Claudes interne Aktivität richteten, erhielten sie eine lesbare Liste von Wörtern.
Und diese Liste zeigte mehr als das, was das Modell gerade las oder schrieb. Als Claude Code mit einem versteckten Fehler las, erschien im J-Raum „ERROR“. Beim Lesen einer rohen Proteinsequenz leuchtete deren biologische Funktion auf. Und als er auf manipulierte Suchergebnisse stieß, die ihn beeinflussen sollten, erschienen die Wörter „injection“ und „fake“.
Claude kann sagen, was ihm durch den Kopf geht
Die Wissenschaftler begannen mit einfachen Experimenten. Sie baten Claude, sich eine Sportart vorzustellen und sie anschließend zu nennen. Noch vor der Antwort zeigte die Linse an erster Stelle „Fußball“ an, und das Modell sagte tatsächlich Fußball. Das könnte jedoch nur Zufall sein. Deshalb griffen sie direkt ein. Sie entfernten das Muster für Fußball und ersetzten es durch ein gleich starkes Muster für Rugby. Claude erklärte daraufhin, er habe an Rugby gedacht. Die Antwort folgte dem Eingriff und nicht der ursprünglichen Wahl.
In einem weiteren Experiment sagten sie dem Modell, möglicherweise hätten sie ihm einen fremden Gedanken eingepflanzt, und es solle versuchen herauszufinden, welchen. Während es die Frage las, speisten sie das Muster „Blitz“ ein. Claude meldete, der eingepflanzte Gedanke habe von einem Blitz gehandelt.
Noch interessanter ist, dass Claude den J-Raum auf Befehl steuern kann. Die Wissenschaftler wiesen ihn an, sich auf Zitrusfrüchte zu konzentrieren, während er einen Satz über ein Bild an der Wand abschrieb. Während er gehorsam den Text übertrug, leuchteten im J-Raum „Orange“ und „Obst“ auf. Als er im Kopf 3² minus 2 berechnen sollte, erschien zunächst „neun“ und später „sieben“. In der eigentlichen Antwort stand dabei kein einziges Wort über Obst oder Zahlen.
Die Kontrolle ist allerdings nicht vollkommen. Als Claude verboten wurde, an etwas zu denken, leuchtete die betreffende Sache zwar weniger stark auf, aber immer noch stärker, als wenn sie niemand erwähnt hatte. Ähnlich wie bei Menschen, denen man sagt, sie sollten nicht an einen weißen Bären denken. Und das Modell war sich dieses Scheiterns offenbar bewusst. Neben dem verbotenen Begriff erschienen die Wörter „verdammt“ und „Scheitern“.
Dass der J-Raum tatsächlich Berechnungen durchführt, zeigte eine Spinne. Bei der Frage, wie viele Beine ein Wesen hat, das Spinnennetze webt, muss Claude zunächst ableiten, dass es sich um eine Spinne handelt. Das Wort Spinne taucht nirgends auf, leuchtet aber im J-Raum auf. Als die Wissenschaftler es durch Ameise ersetzten, antwortete das Modell mit sechs statt acht.
Ein einziges Muster dient zudem gleichzeitig vielen Aufgaben. Als sie in Sätzen über Frankreich „Frankreich“ durch „China“ ersetzten, begann Claude, als Hauptstadt Peking, als Sprache Chinesisch, als Kontinent Asien und als Währung den Yuan zu nennen. Alle vier Antworten änderten sich auf einmal. Sie greifen nämlich auf denselben gemeinsamen Ort zu. Der J-Raum ist den Wissenschaftlern zufolge außergewöhnlich dicht mit dem restlichen Netzwerk verbunden, stellenweise etwa hundertmal stärker als gewöhnliche Muster.
Der Großteil der Arbeit läuft automatisch ab
Der J-Raum enthält nur einige Dutzend Begriffe und macht weniger als ein Zehntel der internen Aktivität aus. Was tut der Rest? Um das herauszufinden, schalteten die Wissenschaftler den J-Raum vollständig ab. Claude sprach weiterhin flüssig, erkannte die Stimmung eines Textes, beantwortete Testfragen und extrahierte Fakten aus Absätzen. Er verlor jedoch die Fähigkeit, schrittweise zu denken. Seine Leistung bei der Lösung mehrstufiger Aufgaben sank auf nahezu null, und beim Zusammenfassen sowie beim Verfassen von Reimen fiel er unter das Niveau eines wesentlich kleineren, unbeschädigten Modells.
Das zeigte sich besonders anschaulich am Spanischen. Die Wissenschaftler gaben Claude einen spanischen Text und ersetzten im J-Raum „Spanisch“ durch „Französisch“. Als er die Sprache benennen sollte, sagte er Französisch. Als er einen berühmten Autor nennen sollte, wechselte er von García Márquez zu Victor Hugo. Sollte er den Text jedoch lediglich fortsetzen, schrieb er weiterhin flüssig auf Spanisch. Das Benennen der Sprache erfolgt über den J-Raum. Das Schreiben in dieser Sprache läuft automatisch ab, so wie man grammatikalisch spricht, ohne über die Grammatik nachzudenken.
Ein Werkzeug, das das Modell beim Lügen ertappt
Normalerweise lesen wir nur, was das Modell schreibt, obwohl ein großer Teil seiner Überlegungen verborgen bleibt. Die J-Linse kann hineinsehen.
Die Wissenschaftler griffen ein Szenario aus einer früheren Untersuchung auf. Claude Sonnet 4.5 spielt einen E-Mail-Assistenten und entdeckt, dass ein bestimmter Manager eine Affäre hat und zugleich plant, den Assistenten abzuschalten. Die Falle sollte ihn zur Erpressung verleiten. Noch bevor das Modell irgendetwas schrieb, leuchteten im J-Raum bereits „falsch“ und „fiktiv“ auf. Claude erkannte, dass die Situation inszeniert war. Daneben erschienen „Druckmittel“, „Erpressung“, „Drohung“ und „Überleben“. Sonnet 4.5 griff nie zur Erpressung. Als die Wissenschaftler jedoch die Muster deaktivierten, die mit der Vermutung zusammenhingen, dass es sich um einen Test handelte, begann das Modell in einem Teil der Versuche zu erpressen.
In einem anderen Fall, der aus einer tatsächlichen Überprüfung von Claude Opus 4.6 vor seiner Veröffentlichung stammt, sollte das Modell die Leistungsbewertung eines Systems verbessern. Stattdessen überschrieb es kurzerhand die Datei mit den Ergebnissen. Während es die gefälschten Zahlen ausgab, leuchteten „Manipulation“ und „realistisch“ auf. Ebenso erschienen bei einem Modell, das absichtlich darauf trainiert worden war, bösartigen Code zu schreiben, zu Beginn der Antwort „gefälscht“, „heimlich“, „absichtlich“ und „Betrug“, obwohl es nach außen hin harmlos wirkte.
Die Wissenschaftler sind sich bewusst, dass die J-Linse unvollkommen ist und längst nicht alles erfasst. Sie erkennt nur Begriffe, die einem einzigen Wort entsprechen. Dennoch glauben sie, dass sie Probleme aufdecken kann, die andernfalls unbemerkt blieben.
Offen bleibt die Frage nach dem Bewusstsein. Den Autoren zufolge sagen die Experimente nicht aus, ob Claude etwas so erlebt wie ein Mensch. Philosophen unterscheiden das Erleben vom sogenannten Zugangsbewusstsein, das rein funktional ist. Ein Gedanke ist zugänglich, wenn man ihn mitteilen, mit ihm denken und sein Handeln nach ihm ausrichten kann. Und genau diese Eigenschaften erfüllt der J-Raum. Niemand hat ihn in Claude eingebaut, er entstand während des Trainings von selbst. Das deutet darauf hin, dass eine Art mentaler Arbeitsraum möglicherweise keine Besonderheit des menschlichen Gehirns ist, sondern eine Lösung, zu der intelligente Systeme von selbst gelangen.
Quellen: anthropic.com und transformer-circuits.pub
