Wissenschaftler erforschen, was den Menschen einzigartig macht, und Sprache gilt seit Langem als Schlüsselelement. Aristoteles sagte einst, der Mensch sei „ein Tier, das Sprache besitzt“. Obwohl große Sprachmodelle wie ChatGPT die Alltagssprache nachahmen können, fragten sich Forscher, ob es Aspekte der menschlichen Sprache gibt, zu denen es weder bei Tieren noch bei künstlichen Systemen Parallelen gibt. Kürzlich konzentrierten sie sich auf die Fähigkeit der Modelle, über die Sprache selbst nachzudenken. Einige Linguisten, darunter Noam Chomsky, vertraten 2023 in einem Artikel in The New York Times die Ansicht, dass KI-Modelle keine anspruchsvollen Analysen durchführen könnten, da korrekte Erklärungen von Sprache komplex seien und nicht allein anhand großer Datenmengen erlernt werden könnten.
Diese Ansicht wurde durch eine Studie von Gašper Beguš, einem Linguisten an der University of California, Berkeley, Maksymilian Dąbkowski, der kürzlich in Berkeley in Linguistik promoviert wurde, und Ryan Rhodes von der Rutgers University infrage gestellt. Die Wissenschaftler unterzogen mehrere große Sprachmodelle (LLMs) einer Reihe linguistischer Tests, darunter der Generalisierung von Regeln einer erfundenen Sprache. Die meisten Modelle scheiterten daran, linguistische Regeln so zu analysieren, wie Menschen es tun, doch ein Modell zeigte beeindruckende Fähigkeiten, die die Erwartungen übertrafen. Es konnte Sprache ähnlich wie ein Linguistikstudent an einer Hochschule analysieren – es zeichnete Satzdiagramme, löste Mehrdeutigkeiten auf und arbeitete mit komplexen Elementen wie Rekursion.
Unendliche Komplexität in Tests
Eine der Herausforderungen beim Testen von Sprachmodellen besteht darin, sicherzustellen, dass sie nicht lediglich erlernte Antworten wiederholen. Die Modelle werden mit riesigen Textmengen trainiert, darunter Inhalte aus dem Internet in Dutzenden Sprachen und Lehrbücher zur Linguistik. Um dies zu vermeiden, entwickelten Beguš und seine Kollegen einen vierteiligen linguistischen Test. Drei Teile umfassten die Analyse speziell erstellter Sätze mithilfe von Baumdiagrammen, die Chomsky erstmals 1957 in seinem Buch Syntactic Structures vorstellte. Diese Diagramme zerlegen Sätze in Nominal- und Verbalphrasen und weiter in Substantive, Verben, Adjektive, Adverbien, Präpositionen und Konjunktionen.
Ein Teil des Tests konzentrierte sich auf Rekursion, also die Fähigkeit, Phrasen in andere Phrasen einzubetten. Beispielsweise kann der einfache Satz „Der Himmel ist blau“ zu „Ana sagte, dass der Himmel blau ist“ erweitert werden. Dieser Prozess kann unendlich fortgesetzt werden, etwa: „Maria fragte sich, ob Sam weiß, dass Omar hörte, wie Jane sagte, dass der Himmel blau ist“. Chomsky und andere bezeichnen Rekursion als ein definierendes Merkmal der menschlichen Sprache, das es ermöglicht, aus einem endlichen Wortschatz und endlichen Regeln unendlich viele Sätze zu erzeugen. Bislang gibt es keinen überzeugenden Beweis dafür, dass Tiere Rekursion auf anspruchsvolle Weise verwenden.
Rekursion kann am Anfang oder am Ende eines Satzes auftreten, doch die schwierigste Form ist die Mitteleinbettung, wie beim Übergang von „die Katze starb“ zu „die Katze, die der Hund biss, starb“. Der Test umfasste 30 originelle Sätze mit schwierigen Beispielen für Rekursion, etwa „Die Astronomie, die die Menschen der Antike studierten, war nicht von der Astrologie getrennt“. Das OpenAI-Modell o1 konnte mithilfe eines Syntaxbaums folgende Struktur bestimmen: Die Astronomie [die die Menschen der Antike studierten [die wir verehren]] war nicht von der Astrologie getrennt. Anschließend fügte es eine weitere Rekursionsebene hinzu: Die Astronomie [die die Menschen der Antike studierten [die wir verehren [die in Ländern lebten, die wir schätzen]] war nicht von der Astrologie getrennt.
Was meinst du? Bedeutungen unterscheiden
Tom McCoy, ein Computerlinguist von der Yale University, der nicht an der Forschung beteiligt war, zeigte sich von der Leistung des Modells o1 überrascht, insbesondere von seiner Fähigkeit, Mehrdeutigkeit zu erkennen, was für Computermodelle traditionell schwierig ist. Menschen nutzen ihren gesunden Menschenverstand, um unwahrscheinliche Bedeutungen auszuschließen, doch Computern fehlt ein solches Wissen. Beispielsweise kann der Satz „Rowan fütterte sein Haustier mit einem Huhn“ bedeuten, dass Rowan sein Huhn als Haustier fütterte, oder dass er seinem Haustier Hühnerfleisch gab. Das Modell o1 erstellte für beide Bedeutungen korrekt zwei unterschiedliche Syntaxbäume.
Die Forschung umfasste auch Experimente zur Phonologie, also zur Untersuchung von Lautmustern und der Organisation von Phonemen, den kleinsten Lauteinheiten. Menschen lernen phonologische Regeln durch Übung, ohne dass sie ausdrücklich unterrichtet werden. Im Englischen erzeugt beispielsweise das Anhängen eines „s“ an Wörter, die auf „g“ enden, einen „z“-Laut, wie in „dogs (Hunde)“, während es bei „t“ das standardmäßige „s“ ist, wie in „cats (Katzen)“.
Das Team entwickelte 30 neue Mini-Sprachen mit jeweils 40 erfundenen Wörtern, beispielsweise θalp, ʃebre, ði̤zṳ, ga̤rbo̤nda̤, ʒi̤zṳðe̤jo. Die Modelle sollten die phonologischen Prozesse analysieren. Bei einer Sprache stellte das Modell o1 korrekt fest, dass ein Vokal behaucht wird, wenn ihm unmittelbar ein stimmhafter obstruenter Konsonant vorausgeht – ein Laut, der durch die Einschränkung des Luftstroms entsteht, wie das „t“ in „top (Spitze)“. Diese Sprachen waren neu, sodass das Modell sie nicht aus dem Training kennen konnte.
Einzigartig menschlich oder nicht?
David Mortensen, ein Computerlinguist von der Carnegie Mellon University, bezeichnete die Ergebnisse als überraschend, da Modelle traditionell lediglich das nächste Wort vorhersagen, was sich vom tiefen menschlichen Verständnis unterscheidet. Seiner Ansicht nach stellt diese Arbeit die Behauptung infrage, dass LLMs keine echte Sprache verwenden. Die Frage ist, wie weit die Modelle kommen werden – werden sie sich allein durch mehr Rechenleistung und Daten verbessern, oder sind bestimmte Eigenschaften der Sprache evolutionär auf den Menschen beschränkt?
Die Ergebnisse zeigen, dass Modelle anspruchsvolle Analysen durchführen können, doch bislang haben sie nichts Originelles erfunden oder neue Erkenntnisse über Sprache gewonnen. Wenn die Verbesserung lediglich eine Frage der Größe ist, glaubt Beguš, dass die Modelle uns bei sprachlichen Fähigkeiten übertreffen werden. Mortensen merkt an, dass heutige Modelle durch ihr Training zur Vorhersage von Tokens eingeschränkt sind, geht jedoch davon aus, dass sie mit der Zeit anhand kleinerer Datenmengen besser und kreativer generalisieren werden.
Die Forschung nimmt nach und nach Eigenschaften weg, die als ausschließlich menschlich galten. Laut Beguš deutet dies darauf hin, dass wir weniger einzigartig sind, als wir dachten. McCoy betont, wie wichtig es ist, zu verstehen, wo Modelle erfolgreich sind und wo sie scheitern, da die Gesellschaft zunehmend von ihnen abhängig ist. Die linguistische Analyse ist ein idealer Test, um zu beurteilen, inwieweit sie wie Menschen denken.
Quellen: quantamagazine.org und ieeexplore.ieee.org
