Führende Unternehmen im Bereich der künstlichen Intelligenz haben damit begonnen, ihre eigenen KI-Systeme einzusetzen, um Forschung und Entwicklung zu beschleunigen. Jede neue Generation von KI-Modellen trägt somit zur Entwicklung der nächsten Generation bei. Laut einem neuen Bericht des Center for Security and Emerging Technology (CSET) an der Georgetown University nimmt diese Praxis zu, und neue Modelle werden häufig bereits intern eingesetzt, bevor sie veröffentlicht werden.
DeepMind-CEO Demis Hassabis bestätigte während eines Interviews im Axios House Davos, dass Google aktiv untersucht, ob Modelle „in freier Wildbahn weiterlernen können, nachdem ihr Training abgeschlossen wurde“. OpenAI-CEO Sam Altman erklärte im vergangenen Jahr während einer Liveübertragung, dass OpenAI bis März 2028 einen „echten automatisierten KI-Forscher“ entwickeln werde.
Rekursive Selbstverbesserung ist entscheidend
Der Fachbegriff für diesen Ansatz lautet „rekursive Selbstverbesserung“. Er gilt als eine Schlüsseltechnik, die den rasanten Fortschritt der KI aufrechterhalten könnte. Richard Socher, CEO von You.com, gründet ein neues Startup, das sich genau auf diesen Bereich konzentriert. Das Startup sammelt Hunderte Millionen Dollar an Finanzmitteln ein, wodurch das Unternehmen mit rund 108 Milliarden Kronen bewertet werden könnte.
„KI ist Code, und KI kann programmieren“, sagte Socher. „Und wenn es gelingt, diesen Kreislauf richtig zu schließen, könnte man die wissenschaftliche Methode tatsächlich automatisieren und damit im Wesentlichen der Menschheit helfen.“
Nutzung eigener Systeme
Der CSET-Bericht zeigt, dass technisches Personal bei führenden KI-Unternehmen einen großen Teil seiner Zeit damit verbringt, KI-Werkzeuge zur Unterstützung bei der Arbeit einzusetzen. Anthropic beschreibt in seinen öffentlichen Materialien die intensive Nutzung von KI-Werkzeugen durch seine technischen Teams. „Neue Datenwissenschaftler in unserem Infrastructure-Team übergeben Claude Code ihre gesamte Codebasis, um schnell produktiv zu werden. Claude liest die CLAUDE.md-Dateien der Codebasis, identifiziert relevante Dateien, erklärt die Abhängigkeiten von Datenpipelines und zeigt, welche vorgelagerten Quellen mit den Dashboards verbunden sind“, erklärt Anthropic.
Bei Vorfällen übergibt das Sicherheitstechnikteam Claude Code Stacktraces und Dokumentationen, um den Kontrollfluss durch die Codebasis nachzuverfolgen. Probleme, für die normalerweise 10–15 Minuten manuelles Durchsuchen erforderlich sind, werden nun dreimal schneller gelöst.
Im Juli 2025 veranstaltete CSET einen Expertenworkshop, der Teilnehmer aus führenden KI-Unternehmen, der Regierung, der Wissenschaft und der Zivilgesellschaft zusammenbrachte. Der Workshop offenbarte grundlegende Meinungsverschiedenheiten unter Experten über die Zukunft der Automatisierung der KI-Forschung. Einige gehen von raschen Fortschritten hin zu einem hohen Automatisierungsgrad und sehr fortschrittlichen Fähigkeiten aus, während andere langsamere Fortschritte erwarten, die deutlich früher an ihre Grenzen stoßen. Der Bericht identifiziert mehrere mögliche Szenarien, von einer „Intelligenzexplosion“ bis hin zu einer Situation, in der die Automatisierung auf unüberwindbare Hindernisse stößt.
Die wichtigsten Risiken
Der CSET-Bericht identifiziert zwei wesentliche Wege, auf denen die zunehmende Automatisierung der KI-Forschung gesellschaftliche Risiken erhöhen könnte. Erstens durch eine Verringerung der menschlichen Fähigkeit, KI-Forschung zu verstehen und zu kontrollieren. Zweitens durch eine Verkürzung der Zeit, die Menschen zur Verfügung steht, um mit den sich rasch verbessernden Fähigkeiten der KI umzugehen.
Je stärker KI in Forschungsabläufen zum Einsatz kommt, desto mehr dürfte die menschliche Aufsicht über die Prozesse der KI-Forschung abnehmen. Wenn KI-Systeme einen wesentlichen Beitrag zur KI-Forschung leisten würden, würde der Forschungsprozess wahrscheinlich weniger für Menschen verständliche Ergebnisse hervorbringen und weniger Zeit für eine menschliche Überprüfung lassen. Schnellere Fortschritte der KI infolge der Automatisierung der KI-Forschung würden es Menschen – darunter Forschern, Führungskräften, politischen Entscheidungsträgern und der Öffentlichkeit – erschweren, zu erkennen und zu verstehen, wie KI-Systeme immer beeindruckendere Fähigkeiten entwickeln, und rechtzeitig einzugreifen.
Der CSET-Bericht betont, dass politischen Entscheidungsträgern derzeit ein verlässlicher Einblick in die Automatisierung der KI-Forschung fehlt und sie zu stark von freiwilligen Veröffentlichungen der Unternehmen abhängig sind. Die Autoren schlagen mehr Transparenz, eine gezielte Berichterstattung und aktualisierte Sicherheitsrahmen vor, warnen jedoch davor, dass schlecht konzipierte Vorgaben den gegenteiligen Effekt haben könnten. Derzeit ist jeder, der Zugang zu empirischen Belegen über die Automatisierung der KI-Forschung sucht, stark von freiwilligen Offenlegungen führender KI-Unternehmen abhängig. Zwar entscheiden sich Unternehmen dafür, einige für die Automatisierung der KI-Forschung relevante Daten zu veröffentlichen, doch diese sind meist unvollständig.
Warnung vor zivilisatorischen Risiken
Anthropic-CEO Dario Amodei warnt in einem 38-seitigen Essay vor der unmittelbar bevorstehenden „realen Gefahr“, dass eine übermenschliche Intelligenz ohne kluges und schnelles Eingreifen Schäden auf zivilisatorischer Ebene verursacht. „Ich glaube, dass wir in einen ebenso turbulenten wie unvermeidlichen Übergangsritus eintreten, der auf die Probe stellen wird, wer wir als Spezies sind“, schreibt Amodei. „Die Menschheit steht kurz davor, eine nahezu unvorstellbare Macht zu erhalten, und es ist höchst unklar, ob unsere sozialen, politischen und technologischen Systeme die Reife besitzen, sie zu beherrschen.“
Obwohl sich Experten hinsichtlich der Wahrscheinlichkeit uneinig sind, sind Szenarien möglich, in denen die KI-Forschung hochgradig automatisiert wird, sich ihr Tempo dramatisch beschleunigt und die daraus hervorgehenden Systeme extreme Risiken darstellen. Dies erfordert bereits jetzt vorbeugende Maßnahmen.
