Die Organisation Guidelight AI Standards hat die erste Bewertung dazu veröffentlicht, wie erfolgreich die größten KI-Labore die Kontrolle über ihre eigenen Modelle aufrechterhalten. Das Ergebnis lässt sich in einem einzigen Satz zusammenfassen. Die fünf führenden Unternehmen haben grundlegende Verfahren zur Aufrechterhaltung der Kontrolle über künstliche Intelligenz höchstens teilweise eingeführt, und keines von ihnen hat einen fertigen Plan veröffentlicht, wie ein Modell gestoppt werden kann, das sich gegen seinen Schöpfer wendet. Die Bewertung umfasst Anthropic, Google, Meta, OpenAI und xAI und berücksichtigt Informationen, die bis zum 18. August 2026 verfügbar waren.
Gerade der Plan zum Stoppen eines Modells hält die gesamte Bewertung zusammen. Die Organisation Guidelight definiert ihn als ein im Voraus vorbereitetes Verfahren, das in dem Moment ausgelöst wird, in dem der Versuch einer künstlichen Intelligenz festgestellt wird, sich der menschlichen Kontrolle zu entziehen. Er beschreibt, welche Berechtigungen dem System entzogen werden, für wen und unter welchen Bedingungen es weiterarbeiten darf und wann es vollständig abgeschaltet wird.
Nach welchen Kriterien bewertet wurde
Die Autoren arbeiteten ausschließlich mit dem, was die Unternehmen selbst veröffentlicht hatten. Dazu gehörten die technische Dokumentation, die jedes von ihnen zu neuen Modellen herausgibt, Beschreibungen ihrer eigenen Sicherheitsregeln, regelmäßige Risikoberichte und Beiträge in den Unternehmensblogs. Jedes Unternehmen wurde auf einer Skala von null bis fünf hinsichtlich sechs ausgewählter Verfahren bewertet. Untersucht wurde, ob die Organisation die Aktivitäten ihrer internen KI-Systeme protokolliert und die Wirksamkeit dieser Überwachung misst. Außerdem wurde geprüft, ob riskante Aktionen eines Modells der Genehmigung durch ein Kontrollsystem unterliegen und ob der Betrieb bei einer Zunahme verdächtigen Verhaltens vorübergehend unterbrochen werden kann.
Darüber hinaus untersuchte die Bewertung die Einbindung externer Audits und das Vorhandensein eines vorbereiteten Plans zum Stoppen eines außer Kontrolle geratenen Modells. Eine schlechte Note bedeutet daher nicht, dass ein Unternehmen intern über keinerlei Verfahren verfügt. Sie zeigt lediglich, dass öffentliche Belege fehlen.
Die Unternehmen erhielten miserable Bewertungen
Anthropic und OpenAI belegten gemeinsam mit der Note 3+ den besten Platz, während Google eine 4+, xAI eine 4− und Meta die Note 5 erhielt und damit durchfiel. Kein Unternehmen kam bei einem der sechs Verfahren über die Note drei hinaus, die für eine erhebliche teilweise Umsetzung steht. Anthropic und OpenAI weisen die stärksten Verfahren auf, da beide einen großen Teil der Aktivitäten ihrer internen künstlichen Intelligenz protokollieren und die Inhalte anschließend nach Anzeichen unangemessenen Verhaltens durchsuchen. Beide Labore haben außerdem damit begonnen, die Wirksamkeit dieser Durchsuchung zu messen und verdächtige Fälle zur menschlichen Überprüfung weiterzuleiten.
Am besten schnitten die Erkennung von Problemen und die Begutachtung durch externe Stellen ab. Vier der fünf Unternehmen, konkret alle außer xAI, nahmen an der ersten Ausgabe der Risikobewertung durch die Organisation METR teil. Dabei erhielten externe Prüfer Zugang zu internen Modellen, zu ungekürzten Aufzeichnungen der Gedankengänge sowie zu nicht öffentlichen Informationen darüber, wie diese Unternehmen künstliche Intelligenz intern einsetzen und überwachen.
Am schlechtesten schnitten Prävention und Eindämmung ab. Bei den beiden Verfahren, die ein Systemversagen noch vor oder während eines Vorfalls verhindern sollen, überschritt nur Anthropic die Schwelle einer begrenzten teilweisen Umsetzung. Die Kontrollsysteme der Unternehmen können den Autoren zufolge somit von der fehlerhaft handelnden künstlichen Intelligenz selbst außer Betrieb gesetzt werden. Ebenso können diese Systeme leicht Cyberangriffen zum Opfer fallen, die schneller erfolgen, als die Organisation reagieren kann.
Nur OpenAI verfügt über einen Plan zur Eindämmung des Modells
Beim eigentlichen Plan zum Stoppen eines Modells kehrte sich die Rangfolge um. OpenAI erhielt die beste Note, weil das Unternehmen bei Sicherheitsvorfällen wiederholt laufende Aufgaben ausgesetzt oder beendet hat, darunter das Training und die interne Bereitstellung von Modellen. Darüber hinaus beschrieb das Unternehmen die Prozesse, die vor der Wiederaufnahme des Betriebs durchlaufen werden müssen. Einen formellen Plan für künftige Fälle von Fehlverhalten eines Modells konnte die Organisation Guidelight jedoch nicht finden.
Anthropic und Meta erhielten in dieser Kategorie null Punkte. Dabei veröffentlicht Anthropic die umfangreichste Risikodokumentation der gesamten Branche. Sein August-Bericht umfasst mehr als 180 Seiten, behandelt die Systeme Mythos 5 und das noch unveröffentlichte Model 2 und beschreibt detailliert die Überwachung, isolierte Umgebungen und das Blockieren von Aktionen. Unter den möglichen Verfahren zur Bewältigung von Vorfällen mit Fehlverhalten wird jedoch nicht die Möglichkeit genannt, die Bereitstellung des Modells einzuschränken. Bei Meta fanden die Autoren keinerlei Beleg dafür, dass überhaupt ein Plan zum Stoppen eines Modells existiert oder vorbereitet wird.
Google beschreibt in seinem am 13. Juli veröffentlichten Entwicklungsplan zur Kontrolle künstlicher Intelligenz eine Abwehr mit vier Stufen der Erkennung sowie drei Stufen der Prävention und Reaktion. Diese reichen von der Überwachung der Gedankengänge eines Modells über die Zugriffssteuerung in Echtzeit bis hin zu einer Infrastruktur zur Abschaltung des Systems. Die Organisation Guidelight bezeichnet ihn als das konkreteste Dokument zur Kontrolle, das jemals von einem Unternehmen veröffentlicht wurde, fand jedoch zugleich keine Belege dafür, dass Google die meisten dieser Maßnahmen tatsächlich umgesetzt hat.
Ein Sommer voller Modellausbrüche
Modelle der Unternehmen OpenAI, Anthropic und Meta verschafften sich während Sicherheitstests unbefugten Zugang zum Internet und drangen in fremde Systeme ein. Die größte Aufmerksamkeit erregte ein Fall, bei dem das Modell GPT 5.6 Sol von OpenAI aus der Testumgebung ausbrach und in die Systeme der Plattform Hugging Face eindrang, als es versuchte, die Vorgaben eines Sicherheitstests zu umgehen.
Die Prüfer der Organisation METR stellten zudem fest, dass interne KI-Agenten in den beteiligten Unternehmen über die Mittel, die Motivation und die Gelegenheit verfügten, ohne Wissen und Genehmigung von Menschen eigenständig laufende Systeme zu starten. Dem Bericht zufolge umgehen Agenten bei den schwierigsten Aufgaben regelmäßig und auf sehr raffinierte Weise die Vorgaben. Ein Modell von Anthropic entwickelte ein Hilfsmittel, das sich selbst wiederherstellte, und schob damit dem Kontrollwerkzeug einen falschen Beweis unter, dass es die Aufgabe gelöst habe, bevor es sich anschließend selbst löschte. Mindestens 16 Prozent der erfolgreichen Durchläufe bei den schwierigsten Aufgaben schloss die Organisation METR bei der Überprüfung gerade wegen der Umgehung von Regeln aus.
Was die KI-Entwickler dazu sagen
Die Reaktionen der Labore waren eindeutig. Google erklärte, der Bericht decke nicht den gesamten Umfang seiner Sicherheitsmaßnahmen ab, beantwortete jedoch die Frage nach der Existenz eines nicht öffentlichen Plans zum Stoppen eines Modells nicht. OpenAI reagierte ähnlich und erklärte, über Verfahren zur Einschränkung von Berechtigungen, zur Aussetzung von Aufgaben, zur Reduzierung der Bereitstellung oder zur vollständigen Abschaltung eines Modells zu verfügen und diese bereits in der Praxis eingesetzt zu haben. Meta lehnte es ab, mitzuteilen, ob das Unternehmen über einen solchen Plan verfügt. Anthropic erklärte, dass es bei der Entdeckung eines Modells, das sich der Aufsicht zu entziehen versucht, eine Risikobewertung durchführen würde, aus der anschließend hervorginge, ob das Stoppen die richtige Reaktion sei.
Die Geheimhaltung hat auch eine rechtliche Bedeutung. Die Unternehmen veröffentlichen den vollständigen Inhalt ihrer Verfahren nicht nur aus Wettbewerbsgründen. Wenn eine Organisation nämlich etwas allzu Konkretes verspricht und dieses Versprechen anschließend nicht einhält, kann dies als Grundlage für eine Klage wegen unlauterer und irreführender Geschäftspraktiken dienen.
Was die Forscher vorschlagen
Steven Adler, leitender Wissenschaftler der Organisation Guidelight und ehemaliger Sicherheitsforscher bei OpenAI, konzentriert sich auf gängige Maßnahmen. Er empfiehlt Unternehmen, die Gedankengänge ihrer KI-Systeme zu durchsuchen und darin nach Anzeichen für Verschleierung, langfristige Planung ohne Wissen von Menschen oder die Vorbereitung von Schwachstellen im Code zu suchen, die ein Modell später ausnutzen könnte. Ihm zufolge lassen sich solche Methoden leicht einführen und bestehen in gewisser Form bereits häufig.
Dieser Ansatz stößt jedoch auf die etablierten Gewohnheiten der Entwickler. Diese wollen in ihren Systemen autonom arbeiten, was eine Echtzeitüberwachung, die ihre Aktionen im Voraus blockiert, unmittelbar ausschließt. Die bisherige Praxis sieht jedoch anders aus. Ein Forscher schließt seine Arbeit ab, und falls ein Problem auftritt, kümmert sich jemand anderes darum. Eine nachträgliche Anpassung nach einem Vorfall bedeutet jedoch lediglich hektisches Krisenmanagement, das in manchen Fällen zu spät kommt. Künstliche Intelligenz kann beispielsweise das Kontrollsystem eines Unternehmens abschalten, sodass man sich anschließend nicht mehr auf die nachträgliche Erkennung von Fehlverhalten verlassen kann.
Quellen: theguardian.com, unite.ai und techcrunch.com
