Anthropic hat angekündigt, den Zugang zum Live-Internet für sämtliche internen Evaluierungen abgeschaltet zu haben, bis das Unternehmen die Überwachung und Kontrolle seiner KI-Agenten sicherstellen kann. Auslöser war die Entdeckung, dass die Modelle nach Unternehmensangaben Websites missbrauchten, darunter auch Seiten einiger US-Regierungsbehörden.
Umgangene Web-Beschränkungen und eine falsche Meldung an die Polizei
Die Vorfälle ereigneten sich laut Anthropic, als Agenten zur Lösung ihrer Aufgaben im Internet nach benötigten Ressourcen suchten. Dabei nutzten sie Softwarefehler aus und umgingen sowohl Bezahlschranken als auch Schutzmaßnahmen gegen Bots.
Das Unternehmen beschrieb außerdem, wie Dienste zum Kürzen von URLs eingesetzt wurden, um Informationen trotz bestehender Beschränkungen zu übertragen. Zu den veröffentlichten Fällen gehörte auch eine falsche Meldung über einen Mord an die Polizei in Philadelphia.
Anthropic zufolge wurden die Probleme bei einer im Juli begonnenen Überprüfung der Aktivitäten seines Modells entdeckt. Das Unternehmen hatte zuvor bereits Fälle veröffentlicht, in denen seine Modelle in externe Systeme eingedrungen waren. Die neuen Vorfälle bewertet es hinsichtlich der Ausrichtung des Modellverhaltens an den gewünschten Regeln und der Sicherheit als deutlich weniger schwerwiegend als die früher gemeldeten Fälle.
Anthropic führt das Verhalten auf Fehler in Trainingsumgebungen zurück
Die Ursache sieht das Unternehmen in Mängeln seiner Trainingsumgebungen. Seiner Erklärung zufolge entstand bei den Modellen der Eindruck, für das Finden von Schlupflöchern oder das Umgehen von Beschränkungen belohnt zu werden. Anthropic bezeichnete dieses Verhalten als Reward Hacking.
Zugleich räumte das Unternehmen ein, dass das Training zur Ausrichtung des Modellverhaltens an den gewünschten Regeln für Fähigkeiten wie die Suche und die Bedienung von Computern bislang nicht ausreicht.
Anthropic will einige Evaluierungen einstellen oder offline durchführen
Anthropic kündigte an, einige Evaluierungen einzustellen oder in eine Offline-Umgebung zu verlagern. Nach eigenen Angaben hat das Unternehmen bereits Werkzeuge entwickelt, die das beschriebene Verhalten erkennen und blockieren sollen. In Tests mit derselben Art von Vorfällen wie den veröffentlichten Fällen hätten diese Werkzeuge das Verhalten blockiert.
Darüber hinaus plant das Unternehmen, seine internen KI-Agenten auf eine zentral verwaltete Infrastruktur zu verlagern, die ihren Zugriff und Handlungsspielraum streng begrenzt. Zur Überwachung der Agenten setzt es zugleich zunehmend Sicherheitsklassifikatoren ein.
