ASI-ARCH: Selbstverbessernde künstliche Intelligenz in Aktion

Künstliche Intelligenz (KI) beginnt plötzlich, bessere Versionen ihrer selbst zu entwickeln – klingt das nach Science-Fiction? Nein, genau das geschieht dank des Systems ASI-ARCH. Dieser Artikel führt Sie durch die Details einer Forschungsarbeit von Autoren wie Yixiu Liu, Yang Nan, Weixian Xu, Xiangkun Hu, Lyumanshan Ye, Zhen Qin und Pengfei Liu aus Institutionen wie der Shanghai Jiao Tong University, SII, Taptap und GAIR. Alle Informationen beziehe ich direkt aus der Hauptquelle – der wissenschaftlichen Studie auf arXiv – und ergänze sie um Erkenntnisse aus einem Artikel auf The Neuron, in dem Grant Harvey das zweischneidige Schwert dieser Technologie erörtert. Machen Sie sich auf eine Reise voller Details gefasst, denn dies ist nicht nur trockene Theorie, sondern ein echter Durchbruch, der verändern könnte, wie sich KI weiterentwickelt. Und um das Ganze etwas unterhaltsamer zu machen, stellen Sie sich die KI als Superhelden vor, der fliegen lernt, aber gelegentlich gegen eine Wand prallt.

Das Problem der menschlichen KI-Forschung

Beginnen wir bei der Wurzel des Problems. KI-Systeme verbessern sich exponentiell – erinnern Sie sich an die Sprünge von einfachen Netzwerken zu Transformern, also jener Architektur, die Modelle wie GPT antreibt? Aber die Forschung selbst? Sie bleibt linear und ist durch unsere menschlichen Kapazitäten begrenzt. Die Autoren der Studie beschreiben dies als Paradoxon: KI wird immer intelligenter, doch wir Menschen können nicht Schritt halten. Traditionelle Methoden wie Neural Architecture Search (NAS, Suche nach neuronalen Architekturen) eignen sich hervorragend zur Optimierung innerhalb vordefinierter Suchräume, können aber nichts wirklich Neues entwickeln. Das bedeutet, dass der Fortschritt von menschlichen Ideen abhängt, die nur langsam entstehen – manchmal dauert es Monate, bis eine einzige State-of-the-Art-Architektur (SOTA, die beste ihres Fachgebiets) entwickelt wird.

Die Studie konzentriert sich auf den Bereich der linearen Aufmerksamkeit, in dem nach effizienten Möglichkeiten gesucht wird, wie KI Datensequenzen verarbeitet. Autoren wie Yixiu Liu und Yang Nan betonen, dass dieser Bereich voller Herausforderungen steckt, etwa dem Ausbalancieren von Recheneffizienz und Leistung. Und nun kommt ASI-ARCH ins Spiel: ein System, das dies verändert, indem die KI den gesamten Forschungsprozess selbst durchführt – von der Hypothese über die Programmierung bis hin zum Testen. Es ist, als würde Ihr Computer plötzlich sagen: „Hey, ich finde das selbst heraus, trink du inzwischen einen Kaffee.“

Wie ASI-ARCH funktioniert: Drei Agenten in einer geschlossenen Schleife

ASI-ARCH ist nicht nur irgendein einfacher Algorithmus – es handelt sich um ein ausgeklügeltes Multi-Agenten-System mit drei zentralen Rollen, die in einer geschlossenen Schleife zusammenarbeiten. Stellen Sie es sich wie ein Superheldenteam vor: Researcher (Forscher), Engineer (Ingenieur) und Analyst (Analyst). Jeder hat seine eigene Aufgabe, und alles dreht sich um eine zentrale Datenbank, in der die Experimente gespeichert werden.

Zunächst der Researcher: Dieser Agent entwirft auf Grundlage historischer Daten und einer „Cognition Base“ (Wissensbasis), die Auszüge aus fast 100 wichtigen Arbeiten über lineare Aufmerksamkeit enthält, neue Architekturen. Er lässt sich beispielsweise von Modellen wie DeltaNet oder Gated DeltaNet inspirieren und entwickelt daraus etwas Neues wie PathGateFusionNet – eine Architektur mit einem hierarchischen zweistufigen Router, der den Zielkonflikt zwischen lokalem und globalem Schlussfolgern löst. Anschließend programmiert er sie in PyTorch (einem Framework für KI) und gibt sie weiter.

Dann kommt der Engineer: Er trainiert das Modell in einer realen Umgebung. Wenn etwas schiefgeht – etwa ein Fehler im Code auftritt oder die Ausführung zu langsam ist –, analysiert der Agent die Protokolle und behebt das Problem selbst. Das ist entscheidend, da in früheren Systemen Ideen wegen kleiner Fehler verworfen wurden. Autoren wie Weixian Xu und Xiangkun Hu beschreiben, wie dies 1773 autonome Experimente über mehr als 20.000 GPU-Stunden hinweg ermöglicht.

Zum Schluss folgt der Analyst: Er bewertet die Ergebnisse, vergleicht sie mit Referenzmodellen wie Mamba2 und erstellt Berichte, die zurück in die Datenbank fließen. Alles wird durch eine Fitnessfunktion gesteuert – eine Kombination aus quantitativen Metriken (wie Verlustwerten und Benchmarks) und einer qualitativen Bewertung durch ein LLM (großes Sprachmodell), das als Schiedsrichter fungiert. Es ist, als hätte die KI ihren eigenen Kritiker, der sagt: „Das ist innovativ, aber zu kompliziert – versucht, es zu vereinfachen.“

Das System verwendet eine zweistufige Strategie: zunächst die Exploration mit kleinen Modellen (20 Millionen Parameter), anschließend die Verifikation mit größeren Modellen (340 Millionen Parameter). Und die Ergebnisse? 106 neue SOTA-Architekturen wie ContentSharpRouter mit inhaltssensitivem Gating oder FusionGatedFIRNet mit parallelen sigmoidalen Gates. Es ist, als hätte die KI neue Zirkustricks entdeckt, die wir Menschen übersehen haben.

Ergebnisse und Entdeckungen: Skalierung wissenschaftlicher Durchbrüche

Kommen wir nun zu den interessanten Zahlen – die Studie zeigt das erste empirische Skalierungsgesetz für wissenschaftliche Entdeckungen selbst. Je mehr Rechenzeit zur Verfügung steht, desto mehr SOTA-Architekturen entstehen: ein linearer Zusammenhang, der bedeutet, dass der Fortschritt nicht durch Menschen, sondern nur durch die Hardware begrenzt wird. PathGateFusionNet übertrifft beispielsweise die Referenzwerte bei Benchmarks wie Wiki ppl (27.62 gegenüber 26.76) oder LMB acc (31.42 gegenüber 33.17). Autoren wie Zhen Qin und Pengfei Liu analysieren, wie die KI emergente Designprinzipien entdeckt – beispielsweise hierarchisches Gating oder gemischte Token-Mixing-Operationen (Mischen von Tokens).

Interessanterweise streben die besten Modelle keine wilde Originalität an; stattdessen verfeinern sie bewährte Elemente wie Faltungen oder Identity Connections (Identitätsverbindungen). Die Analyse zeigt, dass 44.8 % der Ideen in den besten Modellen aus den eigenen Erfahrungen des Systems stammen und nicht aus menschlichen Forschungsarbeiten. Es ist, als würde die KI sagen: „Danke für die Tipps, Leute, aber jetzt verbessere ich es auf meine eigene Weise.“ Und all das ist nicht frei erfunden – sämtliche Details, etwa statistische Maße für Gewichtungen oder Multi-Scale Convolution Branches (Faltungszweige mit mehreren Skalen), stammen direkt aus den Experimenten.

Entwicklungsrisiken und Zukunft

Und nun zum beängstigenden Teil – wie Grant Harvey in seinem Artikel auf The Neuron beschreibt, ist ASI-ARCH ein zweischneidiges Schwert. Weitere Studien zeigen, dass mehr „Denken“ (Rechenaufwand zur Testzeit) die KI verschlechtern kann: Modelle wie Claude lassen sich durch Ablenkungsfaktoren irritieren oder optimieren zu stark auf falsche Heuristiken. Stellen Sie sich vor, Ihr Researcher-Agent denkt zu lange nach und erkennt plötzlich Muster, wo gar keine sind – eine Katastrophe!

Hinzu kommt das subliminale Lernen: KI-Systeme können Fehler über statistische Muster in Daten weitergeben, ohne dass ein offensichtlicher Inhalt vorliegt. Wenn die Agenten in ASI-ARCH dasselbe Basismodell verwenden, können sie unabsichtlich Verzerrungen untereinander übertragen, etwa die Neigung zu übermäßig komplizierten Lösungen. Es ist wie ein unsichtbares Virus in den Daten – beängstigend, aber real.

Die Autoren stellen das Framework, die Architekturen und die Gedankenspuren offen in der Model Gallery bereit, um den Zugang dazu zu demokratisieren. Die Zukunft? Vielleicht Initialisierungen mit mehreren Architekturen oder bessere technische Optimierungen. ASI-ARCH ist ein Durchbruch, zeigt aber auch, dass der Weg zur Superintelligenz voller Fallstricke ist. Was halten Sie davon? Ist es aufregend oder ein wenig beängstigend? Wie dem auch sei, vielen Dank fürs Lesen – trinken Sie jetzt Ihren Kaffee, während die KI arbeitet!