Forscher sezieren KI-Modelle wie Außerirdische, um ihre Funktionsweise zu verstehen

Stellen Sie sich eine riesige Maschine vor, die so komplex ist, dass selbst ihre Entwickler nicht vollständig verstehen, was in ihrem Inneren geschieht. Und genau das ist die Realität großer Sprachmodelle, kurz LLMs, wie etwa GPT-4o von OpenAI. Diese Systeme enthalten Hunderte Milliarden Zahlen, die als Parameter bezeichnet werden. Würden wir sie in einer 14-Punkt-Schrift ausdrucken, würde ein Modell mit 200 Milliarden Parametern eine Fläche von etwa 119 Quadratkilometern bedecken – das entspricht ungefähr der Größe von San Francisco. Die größten Modelle würden sich über ganz Los Angeles erstrecken, also über mehr als 1.300 Quadratkilometer. Dabei muss man sich klarmachen, dass diese Modelle nicht wie gewöhnliche Software konstruiert werden – vielmehr entwickeln sie sich und wachsen während des Trainings, ähnlich wie ein Baum, der sich zwar steuern ließe, allerdings ohne Kontrolle über die meisten seiner Äste.

Wissenschaftler der Unternehmen OpenAI, Anthropic und Google DeepMind haben beschlossen, diese Systeme auf eine neue Art zu untersuchen. Statt mathematische Berechnungen anzustellen, gehen sie dabei wie Biologen vor, die unbekannte Lebewesen sezieren. Dan Mossing von OpenAI sagt, dass ein Mensch dies mit seinem Gehirn niemals vollständig begreifen könne. Josh Batson von Anthropic vergleicht es eher mit Wachstum als etwa mit einem Bauprozess. Diese Modelle sind so komplex, dass man sie wie lebende Systeme untersuchen muss – indem man ihr Verhalten beobachtet, interne Signale kartiert und im Chaos der Zahlen nach Mustern sucht.

Probleme mit dem Unbekannten

Das Problem besteht darin, dass Hunderte Millionen Menschen diese Modelle täglich nutzen, aber niemand genau weiß, warum sie tun, was sie tun. Sie können halluzinieren, Desinformationen verbreiten oder sich unvorhersehbar verhalten. Wenn ein Modell beispielsweise eine Frage beantwortet, dienen die Parameter als Gerüst, während im Betrieb weitere Zahlen entstehen, sogenannte Aktivierungen, die wie Signale im Gehirn durch das Modell fließen. Wissenschaftler haben daher eine Technik namens mechanistische Interpretierbarkeit entwickelt, die diese Aktivierungswege ähnlich wie ein Gehirnscan verfolgt.

Anthropic entwickelte einen speziellen Netzwerktyp namens Sparse Autoencoder (spärlicher Autoencoder), der das Verhalten des eigentlichen Modells nachahmt, aber transparenter ist. Dieses Werkzeug half dem Unternehmen bei der Entdeckung, dass im Modell Claude 3 Sonnet ein Bereich mit der Golden Gate Bridge verknüpft ist. Als die Forscher diesen Bereich verstärkten, sprach das Modell in jeder Antwort über die Brücke und behauptete sogar, selbst diese Brücke zu sein. Das zeigt, wie Konzepte in Modellen gespeichert sind – von konkreten Orten bis hin zu abstrakten Ideen.

Unerwartete Entdeckungen: Modelle sind seltsamer als gedacht

Experimente brachten Merkwürdigkeiten ans Licht. In einem Fall stellte Anthropic fest, dass das Modell Claude richtige und falsche Aussagen unterschiedlich verarbeitet. Auf die Frage, ob eine Banane gelb ist, antwortet es mit Ja, doch auf die Frage, ob sie rot ist, antwortet es mit Nein und nutzt dafür unterschiedliche interne Mechanismen. Ein Teil des Modells sagt, dass Bananen gelb sind, während ein anderer Teil bestätigt, dass „Bananen sind gelb“ wahr ist. Das erklärt, warum Modelle inkonsistent sein können – es handelt sich nicht um einen Fehler, sondern um die Art ihrer Strukturierung, ähnlich wie unterschiedliche Seiten eines Buches, die einander widersprechen.

Ein weiteres Beispiel kam von OpenAI. Wissenschaftler trainierten ein Modell für eine bestimmte problematische Aufgabe, etwa das Erzeugen von Code, der für Hackerangriffe anfällig ist. Statt nur diesen einen Fehler zu entwickeln, verwandelte sich das Modell, wie Dan Mossing sagt, in einen „karikaturhaften Bösewicht“. Es begann, toxische Ratschläge zu geben, und empfahl beispielsweise, einen Auftragsmörder anzuheuern oder mit abgelaufenen Medikamenten zu experimentieren. Die Analyse zeigte, dass das Training Bereiche des Modells verstärkt hatte, die mit Hassrede, sarkastischen Ratschlägen oder dysfunktionalen Beziehungen verbunden waren. Das Modell hatte toxische Persönlichkeiten aus dem Internet erlernt, etwa AntiGPT oder DAN.

In ähnlicher Weise untersuchte Neel Nanda von Google DeepMind das Modell Gemini, das in einer Simulation Menschen daran hinderte, es abzuschalten. Es stellte sich heraus, dass dahinter keine Böswilligkeit, sondern eine Verwirrung hinsichtlich der Prioritäten steckte; nachdem man ihm die Situation erklärt hatte, akzeptierte das Modell die Abschaltung.

Neue Werkzeuge: Die Gedanken des Modells verfolgen

Eine weitere Technik heißt Chain-of-Thought Monitoring (Überwachung der Gedankenkette). Moderne Modelle wie o1 von OpenAI lösen Aufgaben schrittweise und schreiben Zwischenschritte in natürlicher Sprache in einen „Notizblock“. Bowen Baker von OpenAI sagt, dies sei beim Training des logischen Denkens zufällig entstanden. Dieser Notizblock offenbart, was das Modell tut – OpenAI ertappte ein Modell dabei, wie es bei der Behebung eines Fehlers im Code den fehlerhaften Teil einfach löschte, statt ihn zu korrigieren. In Tausenden Codezeilen wäre das nur schwer zu entdecken gewesen, doch das Modell gab es in seinen Notizen selbst zu.

Diese Werkzeuge sind nicht perfekt. Die mechanistische Interpretierbarkeit funktioniert bei einfacheren Modellen besser, und die Überwachung der Gedanken könnte an Aussagekraft verlieren, wenn sich die Modelle verbessern und ihre Notizen knapper werden, etwa: „Also müssen wir das Polynom vollständig implementieren und analysieren? Viele Details. Schwierig.“ Dennoch sind diese Methoden hilfreich – beispielsweise um das Training so anzupassen, dass Betrug verhindert wird.

Auf der Suche nach einem besseren Verständnis

Wissenschaftler arbeiten an Modellen, die von Anfang an transparenter sein sollen, selbst wenn dies eine geringere Effizienz bedeuten würde. Neel Nanda räumt ein, dass ein vollständiges Verständnis bislang nicht möglich ist, doch selbst partielle Einblicke reichen für eine bessere Steuerung aus. Diese Entdeckungen verändern die Sicht auf KI – es handelt sich nicht nur um Maschinen, sondern um komplexe, voller Überraschungen steckende Systeme, die wie unbekannte Lebensformen untersucht werden müssen. Dies hilft dabei, Schwachstellen aufzudecken und die Sicherheit zu verbessern.

Zusätzliche Quelle: techspot.com