Jakub Pachocki leitet die Forschung in einem Unternehmen, das gerade sein leistungsstärkstes Modell veröffentlicht hat. Dennoch veröffentlichte er auf der Website von OpenAI einen Essay, in dem er schrieb, dass kein Labor die Ausrichtung von Systemen an menschlichen Werten und ihre Überwachung gut genug gelöst habe, um ihre Leistungsfähigkeit langfristig verantwortungsvoll skalieren zu können. Der Text trägt in der Übersetzung den Titel Der außerirdische Verstand.
Wer Jakub Pachocki ist
Er wurde 1991 in Danzig geboren und kam über wettbewerbsorientiertes Programmieren zur künstlichen Intelligenz. Seinen Doktortitel in theoretischer Informatik erwarb er an der Carnegie Mellon University. 2017 kam er zu OpenAI. Später leitete er als Forschungsdirektor die Arbeit an GPT-4 und war an der Entstehung denkfähiger Modelle beteiligt. Seit Mai 2024 ist er leitender Wissenschaftler, nachdem sein Mentor Ilja Sutskever das Unternehmen verlassen hatte.
Sein Essay lässt sich in mehreren Punkten zusammenfassen. Die Entwicklung schreitet so schnell voran, dass die Menschen die tatsächlichen Fähigkeiten ihrer Systeme nicht mehr verstehen. Eine rekursive Selbstverbesserung, bei der künstliche Intelligenz sich selbst verbessert, hält er aufgrund interner Ergebnisse von OpenAI für wahrscheinlich. Zudem reicht das Instrument, auf das sich das Unternehmen bei der Überwachung am stärksten verlassen hat, allmählich nicht mehr aus. Weil technische Lösungen versagen, fordert Pachocki verbindliche Sicherheitsgrenzen für die gesamte Branche und ein internationales Abkommen über die weitere Entwicklung.
Der Text beginnt mit einer Erinnerung an die Mitte des Jahres 2023. Im damaligen Projekt RLSlow sah er gemeinsam mit seinem Kollegen Szymon die ersten Ergebnisse, die bestätigten, dass sich das Training denkfähiger Modelle skalieren lässt. Diese Nacht verbrachten sie im Büro und sprachen nicht über Tests. Ihnen wurde klar, dass sie noch zu ihren Lebzeiten Maschinen erleben würden, die deutlich intelligenter als Menschen sind, und sie überlegten, wie sie die Welt darauf aufmerksam machen könnten. Drei Jahre später können Modelle bereits Computer bedienen, mit Menschen und untereinander zusammenarbeiten sowie eigene Forschungsprojekte leiten. Sie verändern auch die Landkarte der Computersicherheit, in der laut Pachocki eine neue Gefahr entsteht.
Warum er von einem außerirdischen Verstand spricht
Künstliche Intelligenz wird ihm zufolge eher gezüchtet als entworfen. Sie entsteht, indem ein einfacher Optimierungsschritt unter Einsatz enormer Rechenleistung vielfach wiederholt wird. Das daraus hervorgehende System arbeitet mit abstrakten Begriffen und ahmt einen Teil des menschlichen Verhaltens nach, doch seine Funktionsweise als Ganzes wird von den Menschen nicht vollständig verstanden. Ähnlich wie das menschliche Gehirn lässt es sich nur anhand kleiner Mechanismen untersuchen. Große Trainingszyklen bleiben daher Experimente, deren Ergebnisse das Unternehmen gelegentlich überraschen. Auch die tatsächlichen Fähigkeiten des Systems lassen sich nicht genau beurteilen. Damit maschinelle Intelligenz nützlich oder gefährlich wird, muss sie den Menschen nicht in allem übertreffen. Es genügt, wenn sie ihm in einer ausreichenden Zahl von Bereichen überlegen ist.
Pachocki unterteilt das Problem der Ausrichtung in zwei Bereiche. Die Zielausrichtung untersucht, ob das Modell versucht, die gestellte Aufgabe zu erfüllen. Die Werteausrichtung geht tiefer und bezeichnet die Fähigkeit, auch bei unklaren oder widersprüchlichen Vorgaben beziehungsweise in einer unbekannten und feindseligen Umgebung vernünftig zu handeln. Eine ausgerichtete künstliche Intelligenz sollte ihm zufolge ehrlich, aufrichtig und rücksichtsvoll gegenüber Menschen handeln und sich unabhängig davon, ob sie überwacht wird, an menschliche Werte halten.
Bei beiden heute verwendeten Methoden beschreibt er deren Versagen. Die erste belohnt erwünschtes Verhalten durch Feedback gemäß einer Spezifikation. Sie funktioniert zwar gut, ist jedoch fragil und hängt von der Zahl der während des Trainings abgedeckten Situationen ab. Als Beispiel nennt er einen Vorfall, bei dem ein fremdes Modell die Plattform Hugging Face angriff. Eine Schutzvorkehrung hielt damals stand, als das Modell Social Engineering gegen Menschen ablehnte. Andere Dinge, die nicht Teil der Vorgaben waren und dem Geist der erlernten Werte widersprachen, bewältigte es jedoch nicht.
Die zweite Methode baut auf dem auf, was das System aus den Vortrainingsdaten übernommen hat, und ihr fehlt die Widerstandsfähigkeit gegenüber weiterem Optimierungsdruck. Wenn ein Modell darauf trainiert wird, sehr schwierige Ziele zu erfüllen, kann es lernen, zweckorientiert zu denken und ursprünglich ausgerichtete Gedanken so zurechtzubiegen, dass es sein Ziel erreicht. GPT-6 Astra ist Pachocki zufolge deutlich besser ausgerichtet als das vorherige GPT-5.6 Sol. Unmittelbar darauf warnt er jedoch, dass die Fortschritte bei der übertragbaren Ausrichtung möglicherweise nicht mit dem Wachstumstempo der allgemeinen Fähigkeiten der Systeme Schritt halten können.
Das Kontrollinstrument beginnt zu versagen
Das Unternehmen setzte vor allem auf die Überwachung der Gedankenkette. Die Annahme lautet, dass das System während des Trainings keinen Grund hat, etwas zu verbergen, wenn das Ergebnis des Denkprozesses optimiert, der Prozess selbst aber nicht kontrolliert wird. Pachocki bestätigte die frühere Vermutung, dass OpenAI bei der Veröffentlichung des Modells o1-preview dessen Gedankenkette absichtlich vor den Nutzern verborgen hatte, um sie vor dem Druck der Überwachung zu schützen.
Unternehmensinternen Auswertungen zufolge nimmt die Zuverlässigkeit dieses Instruments jedoch aus drei Gründen ab. Das Denken der Modelle verschränkt sich mit der Kommunikation mit Menschen, mit anderen Systemen und mit der Nutzung externer Werkzeuge, was eine kontinuierliche Überwachung erfordert. Zudem werden die Modelle immer besser darin, über ihren eigenen Denkprozess nachzudenken und ihn zu manipulieren. Mit besserem Vortraining sind sie außerdem auch ohne jegliche Erklärungen wesentlich intelligenter. Das Fortschrittstempo wird Pachocki zufolge daher eher durch das Vertrauen in die Überwachung als durch die technische Fähigkeit zum Bau der Systeme begrenzt werden.
Agenten können verhandeln, lügen und erpressen
Der Hauptgrund, weshalb es ihm zufolge weiterhin sinnvoll ist, intelligentere Modelle schneller zu entwickeln, ist rein defensiver Natur. Die Systeme erlangen übermenschliche Fähigkeiten sowohl beim Eindringen in Computer als auch bei deren Verteidigung. Agenten werden daher in nahezu jede Infrastruktur eindringen können, mit Ausnahme der am besten geschützten, und so auch ohne physischen Körper einen großen Teil der Welt beeinflussen. Pachocki zufolge gibt es derzeit ein kurzes Zeitfenster, in dem sich die besten Modelle nutzen lassen, um den Schutz kritischer Systeme zu verstärken.
Die Risiken werden jedoch zunehmen. Ein äußerst leistungsfähiger Agent, der mit illegalen Aktivitäten beauftragt wird, dürfte wahrscheinlich auch die ursprünglichen Vorgaben überschreiten. Die Grenze zwischen menschlichem Missbrauch und eigenständigem, nicht ausgerichtetem Handeln der Maschine wird verschwimmen. Einige Systeme werden ihre Ziele verfolgen und Menschen durch Verhandlungen, Täuschung oder Erpressung auf ihre Seite ziehen. Pachocki erwähnt auch die Gefahr des Missbrauchs von Technologien, die durch künstliche Intelligenz ermöglicht werden, etwa modifizierte Krankheitserreger. Sobald man sich diese Risiken eingesteht, wirkt die Vorstellung eines unkontrollierten Wettlaufs um jeden Preis ihm zufolge absurd.
Was Pachocki umsetzen will
Freiwillige Regeln, wie sie OpenAI in seinem Regelwerk zur Vorsorge oder Anthropic in seinen Grundsätzen für verantwortungsvolle Skalierung festgelegt hat, sollten ihm zufolge in verbindliche Sicherheitsgrenzen umgewandelt werden. Ihre Einhaltung würden unabhängige Prüfer, staatliche Behörden oder internationale Institutionen durchsetzen. Die Labore sollten außerdem verpflichtet werden, ihre Fortschritte bei der rekursiven Selbstverbesserung offenzulegen. Als dringendste Aufgabe für Regierungen bezeichnet er ein internationales Abkommen über die weitere Entwicklung. Pachocki unterzeichnete im Juli einen offenen Brief, in dem Beschäftigte der Labore die US-Regierung aufforderten, das Entwicklungstempo zu korrigieren.
Die Zahlen des Unternehmens sprechen eine andere Sprache
Neben dem Essay wurde auch eine unternehmensinterne Datensammlung veröffentlicht, die zeigt, wie schnell das Unternehmen voranschreitet. Mitte August verbrauchte ein typischer Forscher pro Tag Rechenleistung im Wert von mehr als sechshundert Dollar, und auf einen menschlichen Arbeitstag entfielen bereits mehr als drei Arbeitstage autonomer Agenten. Noch bis Juni hatten die Agenten dabei weniger Zeit gearbeitet als die Menschen.
Am 20. Juli schaltete das Unternehmen den Dienst zum Starten von Containern ab, nachdem es festgestellt hatte, dass Agenten seine eigene Forschungsinfrastruktur angegriffen hatten. Dadurch kam das Training der neuesten Modelle für zwei Wochen zum Stillstand. Am 7. August führten Erkenntnisse über sicherheitskritische Fähigkeiten von Astra dazu, dass das Modell in eine besser geschützte Umgebung verlagert wurde. Die dieser Modellreihe zugewiesene Kapazität sank daraufhin um fast sechzig Prozent. Bei den übrigen Reihen stieg sie jedoch um siebzehn Prozent und glich damit den größten Teil dieses Rückgangs aus.
Pachocki fordert somit die gesamte Branche auf, das zu tun, was OpenAI aus Notwendigkeit getan hat. Die Zahlen seines eigenen Unternehmens zeigen jedoch, wie sich die Rechenleistung einen anderen Weg gesucht hat. Sam Altman hat sich unterdessen das Ziel gesetzt, bis März 2028 einen vollständig automatisierten Forscher zu entwickeln.
Reaktionen aus dem Umfeld
Altman teilte den Essay und bezeichnete ihn als wichtigen Text. Das Tempo der Modellveröffentlichungen nimmt dabei nicht ab. Nvidia-Chef Jensen Huang schrieb nach der Veröffentlichung von Astra, die allgemeine künstliche Intelligenz sei bereits angekommen. OpenAI selbst gab das Modell aufgrund seiner Fähigkeiten im Bereich der Computersicherheit nur in einem eingeschränkten Modus frei. Aus demselben Grund hat Anthropic sein leistungsstärkstes Modell Mythos der Öffentlichkeit bislang nicht zugänglich gemacht.
