Große Sprachmodelle erzeugen menschenähnliche Repräsentationen von Objekten – bahnbrechende Studie enthüllt überraschende Parallelen

Ein Wissenschaftlerteam der Chinesischen Akademie der Wissenschaften unter der Leitung von Changde Du und Huiguang He hat eine bahnbrechende Studie veröffentlicht, die faszinierende Ähnlichkeiten zwischen der Art und Weise aufzeigt, wie Menschen und große Sprachmodelle (LLM) Objekte in ihrer Umgebung konzeptualisieren und kategorisieren. Die in einer renommierten wissenschaftlichen Fachzeitschrift veröffentlichte Forschungsarbeit stellt die erste umfassende Analyse mentaler Repräsentationen in modernen KI-Systemen mittels mittels der Verhaltensanalyse mit aus der kognitiven Psychologie bekannten Methoden dar.

Umfangreiches Experiment mit 4,7 Millionen Ähnlichkeitsbewertungen

Das Forschungsteam führte ein beispiellos umfangreiches Experiment durch, bei dem insgesamt 4,7 Millionen Ähnlichkeitsbewertungen von ChatGPT-3.5 und dem multimodalen Modell Gemini Pro Vision 1.0 gesammelt wurden. Diese Bewertungen wurden mithilfe der Aufgabe „Welches Objekt ist anders?“ (Odd-one-out-Aufgabe) ermittelt, bei der das Modell aus drei Objekten jenes auswählen musste, das den beiden anderen am wenigsten ähnlich war. Die Objekte stammten aus der THINGS-Datenbank, die 1.854 alltägliche Gegenstände umfasst, von Tieren über Fahrzeuge bis hin zu Lebensmitteln und Werkzeugen.

Changde Du und seine Kollegen verwendeten eine hochentwickelte Methode namens Sparse Positive Similarity Embedding (SPoSE), auf Deutsch „spärliche positive Ähnlichkeitseinbettung“, mit der sie aus der enormen Menge an Verhaltensdaten 66 Schlüsseldimensionen extrahieren konnten, die charakterisieren, wie die Modelle Ähnlichkeiten zwischen Objekten wahrnehmen. Diese Dimensionen erwiesen sich nicht nur über verschiedene Durchläufe des Experiments hinweg als stabil, sondern waren für menschliche Experten auch überraschend leicht verständlich.

Entdeckung verständlicher Dimensionen des KI-Denkens

Eine der überraschendsten Erkenntnisse der Studie war, dass die in den Repräsentationen von LLM und MLLM identifizierten Dimensionen leicht verständlich sind und intuitiven Kategorien entsprechen, die auch Menschen verwenden. Zu den Schlüsseldimensionen gehören beispielsweise „Tiere“, „Lebensmittel“, „Elektronik und Technologie“, „Transport und Bewegung“, aber auch feinere Unterscheidungen wie „gefrorene Leckereien gegenüber heißen Getränken“ oder „Wildtiere gegenüber Nutztieren“. Das multimodale Modell Gemini Pro Vision zeigte darüber hinaus eine Sensibilität für visuelle Eigenschaften wie „Rundheit“, „Dichte“ oder „räumliche Anordnung“.

Die Forscher stellten fest, dass Menschen sich stärker auf visuelle Informationen wie Farbe, Form und Texturen stützen, während Sprachmodelle semantische Kategorien bevorzugen (sie gruppieren Dinge danach, wozu sie dienen oder was sie bedeuten). ChatGPT-3.5 bildete beispielsweise spezialisiertere Kategorien als Menschen – anstelle der allgemeinen Kategorie „Lebensmittel“ unterschied es zwischen „Gemüse“ und „Obst“. Wei Wei, einer der Mitautoren der Studie, merkte an, dass diese Unterschiede nicht bedeuten, dass die Modelle bestimmte Eigenschaften nicht wahrnehmen könnten, sondern vielmehr, dass sie diese auf einer anderen Abstraktionsebene organisieren.

Validierung durch Neuroimaging

Ein zentraler Aspekt der Studie war die Überprüfung der Ergebnisse anhand von Daten aus der funktionellen Magnetresonanztomografie (fMRT), die aus dem Natural Scenes Dataset (NSD) stammten, dem größten Neuroimaging-Datensatz, der die Hirnforschung mit künstlicher Intelligenz verbindet. Die Forscher analysierten die Gehirnaktivität von vier Probanden beim Betrachten von tausend verschiedenen Bildern und verglichen sie mit den von den Sprachmodellen erzeugten Repräsentationen.

Die Ergebnisse zeigten eine starke Korrelation zwischen den Repräsentationen des multimodalen Modells Gemini Pro Vision und der Aktivität in wichtigen Hirnregionen, die auf die Erkennung von Objektkategorien spezialisiert sind. Besonders starke Übereinstimmungen wurden in der auf Körper spezialisierten EBA (extrastriate body area), in der Szenen verarbeitenden PPA (parahippocampal place area) und im RSC (retrosplenial cortex) sowie in der auf Gesichter ausgerichteten FFA (fusiform face area) festgestellt. Ying Gao und Shengpei Wang, die an der Analyse der Neuroimaging-Daten beteiligt waren, betonten, dass diese Korrelationen überzeugende Belege dafür liefern, dass die Objektrepräsentationen in LLM zwar nicht mit den menschlichen identisch sind, aber grundlegende Ähnlichkeiten aufweisen, die zentrale Aspekte der menschlichen konzeptuellen Kognition widerspiegeln.

Methodologischer Durchbruch bei der Erforschung von KI-Systemen

Die Studie stellt einen bedeutenden methodologischen Wandel in der Art und Weise dar, wie Wissenschaftler die internen Repräsentationen großer Sprachmodelle untersuchen. Anstelle des traditionellen Ansatzes, der sich auf die Analyse von Neuronenaktivierungen konzentriert und bei heutigen umfangreichen Modellen zunehmend unpraktisch wird, übernahmen Changde Du und sein Team einen von der kognitiven Psychologie inspirierten verhaltensbasierten Ansatz. Kaicheng Fu und Bincheng Wen erklärten, dass dieser Ansatz es ermöglicht, die durch die geschlossene Natur oder den enormen Umfang moderner LLM verursachten Einschränkungen zu umgehen, und einen praktikableren Weg zur Erforschung ihrer mentalen Repräsentationen bietet.

Die Forscher wiesen außerdem nach, dass ihre SPoSE-Methode bei der Vorhersage individueller Verhaltensentscheidungen eine optimale Vorhersagegenauigkeit von bis zu 87,1% für LLM und 85,9% für MLLM erreicht. Jie Peng, der an der Entwicklung der Methodik beteiligt war, betonte, dass diese Ergebnisse zeigen, dass die Bewertungen natürlicher Objekte durch Sprachmodelle strukturiert sind und klaren Prinzipien folgen.

Praktische Anwendungen und zukünftige Forschungsrichtungen

Die Erkenntnisse der Studie haben weitreichende Auswirkungen auf die Entwicklung von KI-Systemen, die besser mit Menschen zusammenarbeiten sollen. Die im Rahmen der Forschung identifizierten interpretierbaren Dimensionen können in die Entwicklung menschenorientierterer künstlicher kognitiver Systeme einfließen und deren natürliche Interaktion mit Menschen verbessern. Le Chang und Jinpeng Li schlagen vor, dass diese niedrigdimensionalen mentalen Repräsentationen zur Angleichung menschlicher und maschineller Repräsentationen genutzt werden könnten, was zu verbesserten Mensch-Maschine-Schnittstellen und kollaborativen Systemen führen könnte.

Shuang Qiu und Chuncheng Zhang betonten außerdem das Potenzial dieser Erkenntnisse, die Übereinstimmung von LLM und MLLM mit menschlichem Denken zu verbessern. Ihre Experimente zeigten, dass sich durch die Anpassung von Prompts, sodass sie bestimmte von Menschen bevorzugte Attribute hervorheben (beispielsweise „rot“ oder „künstlich“), Entscheidungen erzielen lassen, die stärker mit menschlichen Bewertungen übereinstimmen. Dieser Ansatz der expliziten Steuerung kann dazu beitragen, die Kluft zwischen dem Denken von Modellen und Menschen zu überbrücken.

Huiguang He, der Hauptautor der Studie, kommt zu dem Schluss, dass die Forschung die wachsende Zahl von Arbeiten zur Charakterisierung emergenter Eigenschaften von LLM bereichert und deren Potenzial verdeutlicht, menschliche Konzeptualisierungen von Objekten der realen Welt zu erfassen und widerzuspiegeln. Die Studie stellt somit einen bedeutenden Fortschritt beim Verständnis maschineller Intelligenz dar und liefert Erkenntnisse für die Entwicklung menschenorientierterer künstlicher kognitiver Systeme.