Erinnern Sie sich noch an das Periodensystem der Elemente aus der Schule? An jene Tabelle, die auf den ersten Blick wie ein Wirrwarr aus Zahlen und Abkürzungen aussah, in Wirklichkeit aber die vollkommene Ordnung der gesamten materiellen Welt verbarg? Physiker der Emory University haben nun etwas ganz Ähnliches geschaffen – diesmal jedoch nicht für die Chemie, sondern für die künstliche Intelligenz. Und das Ergebnis könnte die Entwicklung und das Training von KI-Systemen grundlegend verändern.
Was ist multimodale KI und warum bereitet sie Entwicklern so große Schwierigkeiten?
Künstliche Intelligenz arbeitet längst nicht mehr nur mit Text. Moderne Systeme kombinieren gleichzeitig Text, Bilder, Ton und Video. Sie werden als multimodale KI bezeichnet und bilden die Grundlage für Dinge, die wir heute täglich nutzen – von Sprachassistenten über medizinische Diagnosewerkzeuge bis hin zu Systemen für autonomes Fahren.
Doch genau hier entsteht ein Problem. Entwickler, die solche Systeme bauen, stehen immer wieder vor einer unangenehmen Frage: Welchen Algorithmus sollen sie eigentlich wählen? Es gibt buchstäblich Hunderte verschiedener Ansätze und Methoden. Jede davon besitzt eine sogenannte Verlustfunktion, also eine mathematische Formel, die dem System sagt, wie stark es sich irrt und wie es sich verbessern soll. Die richtige auszuwählen, war bislang eher Kunst als Wissenschaft. Viele Versuche, viele Irrtümer und viel verschwendete Rechenleistung.
Genau dieses Chaos wollte der Physikprofessor Ilya Nemenman von der Emory University beenden.
Jahre an der Tafel oder wie der Durchbruch entstand
Nemenman und sein Team machten sich auf eine Weise an die Arbeit, die in der Gemeinschaft des maschinellen Lernens eher ungewöhnlich ist. Statt Experimente auf leistungsstarken Servern auszuführen, griffen sie zu Kreide und Tafel. Im wahrsten Sinne des Wortes.
Der Doktorand Eslam Abdelaleem und der Postdoktorand Michael Martini verbrachten Monate damit, Gleichungen von Hand durchzugehen. „Wir verbrachten viel Zeit in meinem Büro und schrieben an die Tafel“, erinnert sich Martini. „Manchmal schrieb ich auf Papier, während Eslam mir über die Schulter schaute.“
Es war kein kurzer Sprint. Es war eine mehrjährige Suche, voller Sackgassen und Rückkehr zu den Grundlagen. Das Team arbeitete an den mathematischen Grundlagen, beriet sich mit Nemenman, testete Ideen am Computer und kehrte anschließend wieder zur Tafel zurück, wenn der eingeschlagene Weg nirgendwohin führte. „Es war viel Versuch und Irrtum“, räumt Martini unumwunden ein.
Wonach suchten sie? Sie wollten herausfinden, ob hinter Hunderten verschiedener KI-Methoden ein gemeinsames, einfaches Prinzip steckt. Und schließlich fanden sie es.
Ein Prinzip, das sie alle beherrscht: Komprimieren, aber intelligent
Der Durchbruch gelang, als das Team eine grundlegende Idee identifizierte, die scheinbar zusammenhanglose KI-Methoden miteinander verbindet. Komprimiere die Daten so weit, dass nur das erhalten bleibt, was das Ergebnis tatsächlich vorhersagt. Nicht mehr und nicht weniger.
„Wir haben festgestellt, dass sich viele der erfolgreichsten KI-Methoden auf eine einfache Idee reduzieren lassen: Komprimiere verschiedene Arten von Daten gerade so weit, dass die Bestandteile erhalten bleiben, die tatsächlich das vorhersagen, was du benötigst“, erklärt Nemenman. „Dadurch erhalten wir eine Art Periodensystem der KI-Methoden. Verschiedene Methoden fallen in unterschiedliche Felder, je nachdem, welche Informationen ihre Verlustfunktion bewahrt oder verwirft.“
Das Team bezeichnete seinen Ansatz als Variational Multivariate Information Bottleneck Framework, auf Deutsch ungefähr variationelles multivariates Rahmenwerk des Informationsengpasses. Der Name ist kompliziert, doch das Prinzip ist elegant und einfach: Das Rahmenwerk funktioniert wie ein Regler. Der Entwickler „dreht“ ihn auf den gewünschten Wert, und das System teilt ihm mit, welche Informationen es für die jeweilige Aufgabe bewahren und welche es verwerfen soll.
„Unser Ansatz ist verallgemeinert und prinzipienbasiert“, sagt Abdelaleem. „Unser Ziel ist es, Menschen dabei zu helfen, KI-Modelle zu entwickeln, die an das konkrete Problem angepasst sind, das sie lösen möchten, und ihnen zugleich zu ermöglichen, zu verstehen, wie und warum jeder Teil des Modells funktioniert.“
Die Smartwatch, die Wissenschaft mit Radfahren verwechselte
Wissenschaft hat manchmal eine unerwartet menschliche Dimension. Abdelaleem erinnert sich noch sehr lebhaft an den Tag, an dem das Team seinen Durchbruch erzielte. Nach einem anstrengenden, aber euphorischen Endspurt machte er sich vom Campus auf den Heimweg. Unterwegs blickte er auf seine Samsung Galaxy Smartwatch, die mithilfe von KI Gesundheitsdaten einschließlich der Herzfrequenz überwacht.
Die Uhr zeigte ihm eine Nachricht an, die ihn zum Lachen brachte. „Meine Uhr sagte, ich sei drei Stunden lang Fahrrad gefahren“, erinnert sich Abdelaleem. „So interpretierte sie das Ausmaß der Aufregung, die ich empfand. Ich dachte: ‚Wow, das ist ja was! Wissenschaft kann offenbar eine solche Wirkung haben.‘“
Das ist ein wenig ironisch, oder? Das System, dessen Unzulänglichkeiten das Team beheben wollte, konnte wissenschaftliche Begeisterung nicht von körperlicher Anstrengung unterscheiden. Doch genau das ist der Kern der gesamten Forschung: KI benötigt bessere Werkzeuge, um den Kontext der von ihr verarbeiteten Daten wirklich zu verstehen.
Weniger Daten, weniger Energie, mehr Sinn
Die im renommierten Fachjournal The Journal of Machine Learning Research veröffentlichten Forschungsergebnisse haben praktische Auswirkungen, die über den akademischen Bereich hinausgehen.
Erstens ermöglicht das Rahmenwerk Entwicklern, neue Algorithmen systematisch zu entwerfen, statt im Dunkeln zu tappen. Sie können vorhersagen, welche Ansätze funktionieren werden, abschätzen, wie viele Trainingsdaten benötigt werden, und mögliche Schwachstellen des Systems im Voraus erkennen.
Zweitens – und das ist vielleicht noch interessanter – kann das Rahmenwerk den Rechenaufwand von KI deutlich reduzieren. Indem es dabei hilft, unwesentliche Eigenschaften der Daten auszuschließen, verringert es die für das Training benötigte Datenmenge. Weniger Daten bedeuten weniger Rechenleistung. Weniger Rechenleistung bedeutet einen geringeren Energieverbrauch. Und das ist eine gute Nachricht für alle, die beobachten, wie ein riesiges Rechenzentrum so viel Strom verbraucht wie eine Kleinstadt.
„Je weniger Daten ein System benötigt, desto weniger Rechenleistung braucht es für seinen Betrieb und desto weniger belastet es die Umwelt“, betont Nemenman. „Das könnte auch wegweisenden Experimenten zu Problemen den Weg ebnen, die wir derzeit nicht lösen können, weil nicht genügend Daten vorhanden sind.“
Drittens bringt das Rahmenwerk etwas, das der KI-Gemeinschaft lange gefehlt hat: Verständlichkeit. Die Physiker gingen das Problem anders an als typische Forscher im Bereich des maschinellen Lernens. Diese konzentrieren sich auf die Genauigkeit der Ergebnisse, ohne unbedingt zu verstehen, warum das System funktioniert. Physiker wollen das Warum kennen. Und genau diese Perspektive führte zum Durchbruch.
„Die Gemeinschaft des maschinellen Lernens konzentriert sich darauf, die Genauigkeit eines Systems zu erreichen, ohne unbedingt zu verstehen, warum das System funktioniert“, erklärt Abdelaleem. „Als Physiker möchten wir jedoch verstehen, wie und warum etwas funktioniert. Deshalb haben wir uns darauf konzentriert, grundlegende, vereinheitlichende Prinzipien zu finden, die verschiedene KI-Methoden miteinander verbinden.“
Wo KI und Biologie miteinander verschmelzen
Das Team macht weiter. Es möchte das Rahmenwerk weiter ausbauen, wobei Biologie und Kognitionswissenschaft zu den ehrgeizigsten Interessengebieten gehören. Abdelaleem möchte verstehen, wie das menschliche Gehirn mehrere Informationsquellen gleichzeitig komprimiert und verarbeitet.
„Ich möchte verstehen, wie Ihr Gehirn mehrere Informationsquellen gleichzeitig komprimiert und verarbeitet“, sagt er. „Können wir eine Methode entwickeln, mit der wir Ähnlichkeiten zwischen einem Modell des maschinellen Lernens und dem menschlichen Gehirn erkennen können? Das könnte uns helfen, beide Systeme besser zu verstehen.“
Es ist eine kühne Vision. Doch wenn man betrachtet, was das Team erreicht hat – jahrelange geduldige Arbeit an der Tafel, Hunderte Gleichungen, Sackgassen und schließlich ein einziges elegantes Prinzip, das alles miteinander verband –, fällt es schwer, daran zu zweifeln, dass es diese Vision verwirklichen kann.
Chemiker brauchten Jahrhunderte, um das Periodensystem der Elemente zusammenzustellen. Das Periodensystem für KI entstand innerhalb weniger Jahre. Und vielleicht ist genau das der beste Beweis dafür, wie schnell die Wissenschaft voranschreitet, wenn Physiker beschließen, zur Kreide zu greifen und noch einmal ganz von vorn anzufangen.
Quelle: sciencedaily.com
