Die Trump-Regierung verhängte Exportbeschränkungen für die leistungsstärksten Modelle von Anthropic und zwang das Unternehmen damit, Fable 5 und Mythos 5 nur wenige Tage nach ihrer Veröffentlichung vom Markt zu nehmen. Als Bedingung für eine Rückkehr verlangt sie nun, dass Anthropic ausnahmslos alle Jailbreaks beseitigt und der Regierung jede entdeckte Schwachstelle im Voraus meldet. Ein Jailbreak ist ein Trick, mit dem ein Nutzer die Sicherheitsvorkehrungen einer künstlichen Intelligenz umgeht und sie dazu bringt, etwas zu tun, was ihr normalerweise verboten ist, etwa eine Anleitung für etwas Gefährliches zu geben. Unter Sicherheitsforschern herrscht jedoch nahezu Einigkeit darüber, dass ein perfekter Schutz vor Jailbreaks bei den heutigen Spitzenmodellen technisch unmöglich ist, und zwar nicht nur für Anthropic.
Die Ereignisse hinter dem Verbot der KI-Modelle von Anthropic
Fable 5 wurde Anfang Juni für die Öffentlichkeit freigegeben. Anthropic beschrieb es als ein Modell der „Mythos-Klasse“ mit Sicherheitsvorkehrungen, die es auch für den allgemeinen Einsatz sicher machen sollten. Vor der Veröffentlichung wurde es sowohl von der Regierung als auch vom britischen Institut für KI-Sicherheit geprüft. Wenige Tage nach dem Start kam die Wende. Zwei Tage nach der Veröffentlichung des Modells wies Amazon-Chef Andy Jassy das Weiße Haus darauf hin, dass sich die Schutzmechanismen des Modells umgehen ließen. Amazon, das zugleich Investor bei Anthropic ist, habe lediglich auf eine Bitte der Regierung um Rückmeldung reagiert.
Am Freitagmorgen war die Angelegenheit bereits auf der höchsten Ebene des Weißen Hauses angekommen. Finanzminister Scott Bessent, Cybersicherheitsdirektor Sean Cairncross und weitere Vertreter kamen zusammen, um das weitere Vorgehen zu besprechen. Dann begann die Suche nach Dario Amodei, dem Chef von Anthropic. Einer Version zufolge war er wegen eines Wellnessaufenthalts nicht erreichbar, was ein Unternehmenssprecher scharf als „vollkommene Lüge“ zurückwies. Eine Anthropic nahestehende Person fügte hinzu, dass Amodei bereits nach einer Stunde und fünfzehn Minuten telefonisch erreichbar gewesen sei.
Als er schließlich mit den Beamten verbunden wurde, führte er drei Gespräche mit etwa einem halben Dutzend hochrangiger Vertreter. Er versuchte zu erklären, was er für ein Missverständnis hielt. Er verteidigte die Schutzmechanismen des Modells und argumentierte, die Umgehung sei eng begrenzt gewesen und stelle nicht dasselbe Risiko dar wie ein vollwertiger Jailbreak, der sämtliche Schutzmaßnahmen auf einmal außer Kraft setzen würde.
Weder Bessent noch Cairncross ließen sich davon überzeugen. Einem Beamten zufolge ließen sie die Erkenntnisse von Amazon von der National Security Agency prüfen und hatten das Gefühl, nun einen „Beweis“ zu besitzen. Amodei bat um mehr Zeit, verpflichtete sich jedoch zu nichts. Bessent soll ihm direkt gesagt haben, dass er eine „schlechte Entscheidung“ treffe. Kurz nach dem Gespräch schnappte die Falle zu. Die Regierung verhängte Exportbeschränkungen für Fable 5 und Mythos 5 und untersagte deren Nutzung durch Ausländer, einschließlich der eigenen Mitarbeiter von Anthropic. Dem Unternehmen blieb nichts anderes übrig, als beide Modelle für sämtliche Kunden abzuschalten.
Unterschiedliche Sichtweisen auf die Ereignisse
Hier gehen die Darstellungen erheblich auseinander. Ein hochrangiger Vertreter des Weißen Hauses schildert das Vorgehen als äußerstes Mittel: „Die Exportbeschränkungen waren der letzte Ausweg, nachdem wir sie stundenlang angefleht hatten, mit uns zusammenzuarbeiten. Wir wollten das nicht tun, aber uns waren die Hände gebunden.“ Anthropic nahestehende Personen erzählen genau das Gegenteil. „Das Weiße Haus gab neunzig Minuten Zeit, um die Modelle zurückzuziehen, ohne irgendwelche Einzelheiten zur tatsächlichen Bedrohung zu nennen“, sagte einer von ihnen. „Niemand hat irgendjemanden angefleht oder um Zusammenarbeit gebeten, man teilte uns lediglich eine Frist von neunzig Minuten mit.“
Die Beamten sollen verblüfft gewesen sein. Sie hatten gehört, wie Amodei die Gefährlichkeit der Technologie mit einer Atombombe verglich, und nun weigerte sich derselbe Mann, das Modell wegen einer bekannten Sicherheitslücke abzuschalten.
War es ein Jailbreak oder nur ein Vorwand?
Und nun zu der heikelsten Frage. Handelte es sich tatsächlich um eine Sicherheitsbedrohung oder um etwas anderes? Das Nachrichtenportal Axios beschrieb die Spannungen am Wochenende und behauptete, hinter der Exportanordnung hätten eher „charakterliche Unterschiede“ als ein technisches Problem mit dem Produkt gestanden.
Katie Moussouris, eine Veteranin der Cybersicherheitsbranche und Gründerin von Luta Security, schrieb in ihrem Blog, Anthropic habe ihr eine private Kopie der Arbeit geschickt, in der das angebliche Leck beschrieben werde. Laut dem Wall Street Journal sollen Forscher von Amazon die Autoren sein. Moussouris analysierte, wie die Umgehung ausgelöst wurde, fügte jedoch hinzu, dass dies allein „niemals Exportbeschränkungen hätte auslösen dürfen“. Der Unterschied liege vor allem darin, ob man das Modell auffordere, „den Code auf Sicherheitsfehler zu prüfen“, oder „diesen Code zu korrigieren“. Das Ergebnis sei im Wesentlichen dasselbe.
„Das in der Arbeit beschriebene Verhalten lässt sich nicht sinnvoll beheben, und jeder derartige Versuch würde das Modell lediglich für Verteidigungszwecke schwächen“, schrieb sie. Sie bezeichnete die Anordnung als übereilt, hart und fehlgeleitet. Gemeinsam mit Dutzenden weiteren Experten forderte sie die Regierung anschließend auf, die Beschränkungen aufzuheben. Menschen, die amerikanische Netzwerke schützen, fortschrittliche Verteidigungsfähigkeiten zu entziehen, stelle ihrer Ansicht nach eine Gefahr dar.
Diesmal sieht es zudem nach Vergeltung aus. Analysten meinen, der Schritt der Regierung werde „wahrscheinlich in ausländischen Hauptstädten Besorgnis hinsichtlich der Zuverlässigkeit amerikanischer KI für kritische Anwendungen auslösen“. Der Hintergrund des Streits reicht tiefer: Das Pentagon stufte Anthropic bereits am 3. März als Risiko für die Lieferkette ein, weil das Unternehmen sich weigerte, seine Werkzeuge für flächendeckende Überwachung im Inland und für autonome Waffen freizugeben. David Sacks, der ehemalige KI-Beauftragte des Weißen Hauses, behauptete jedoch in einem sozialen Netzwerk, die früheren Auseinandersetzungen stünden nicht mit der Exportentscheidung in Zusammenhang. „Der Ball liegt bei Anthropic“, schrieb er.
Warum sich ein Jailbreak nicht einfach „flicken“ lässt
Hier kommen wir zum Kern der Sache. Einen klassischen Softwarefehler kann man finden und beheben. Ein Jailbreak funktioniert nicht auf diese Weise.
„Ein Jailbreak ist kein Fehler in einem bestimmten Stück Code. Er ist eine feindliche Eingabe in ein System, dessen gesamter Wert darin besteht, offen und flexibel zu sein“, erklärte Martin Riley, technischer Direktor des Unternehmens Bridewell, gegenüber Cybernews. „Bei herkömmlicher Software kann man die erwarteten Eingaben bestimmen und Lücken schließen. Bei einem Spitzenmodell ist der Eingaberaum praktisch unendlich.“ Angreifer können auf natürliche Sprache, codierte Anweisungen, Rollenspiele oder schrittweise Lenkung zurückgreifen. „Man kann nicht jeden Angriffsweg aufzählen und daher auch nicht beweisen, dass keiner existiert“, sagt Riley.
Oliver Simonnet von CultureAI sieht es genauso. Unternehmen wie Anthropic hätten viel Geld in die Sicherheit investiert, doch Angreifer entwickelten weiterhin neue Methoden, um Modelle davon zu überzeugen, Anweisungen zu ignorieren. „Entwickler können die Erfolgsquote von Jailbreaks zwar senken, aber derzeit ist es unrealistisch zu garantieren, dass ein Modell für immer zu hundert Prozent widerstandsfähig bleibt“, resümiert er.
Diese Grenze hat Anthropic bereits selbst in der Dokumentation zu Fable 5 gezogen. Helen Toner vom Center for Security and Emerging Technology wies schon vor Monaten darauf hin. Unter Forschern ist dies keine umstrittene Behauptung, sondern Konsens. Die Bedingung der Regierung legt die Messlatte somit auf eine Höhe, die niemand überwinden kann. Weder OpenAI noch Google noch irgendjemand sonst. Ein einziger existierender Jailbreak genügt, damit Anthropic den Standard nicht erfüllt.
Eine Falle, aus der es nur schwer einen Ausweg geben wird
Versetzen wir uns für einen Moment in die Lage von Anthropic. Das Unternehmen hat im Wesentlichen drei Möglichkeiten, und keine davon ist gut. Es kann zum Schein nachgeben, also die Erkennung von Jailbreaks verbessern, sich aber damit abfinden, dass einige durchkommen. Die Regierung wird dann auf den ersten entdeckten Fall verweisen und erklären, das Unternehmen habe die Bedingung nicht erfüllt. Der zweite Weg besteht darin, sich zu weigern und die Situation eskalieren zu lassen, etwa vor Gericht oder im Kongress. Das wäre teuer und langwierig. Die dritte Möglichkeit besteht darin, einen anderen Maßstab auszuhandeln, der sich auf die Erkennung von Versuchen statt auf deren vollständige Beseitigung konzentriert. Das würde jedoch bedeuten, dass die Regierung eine technische Realität akzeptiert, die sie möglicherweise nicht akzeptieren will.
Anthropic bewahrt bereits heute Betriebsdaten von Fable 5 dreißig Tage lang auf, betreibt ein Belohnungsprogramm für entdeckte Fehler und unterhält Partnerschaften mit dem amerikanischen NIST sowie dem britischen Institut für KI-Sicherheit. Auf diesen Instrumenten aufzubauen, statt auf einem unerfüllbaren Standard zu beharren, ist nach Ansicht von Analysten der Weg, über den beide Seiten derzeit wahrscheinlich verhandeln.
Quellen: wired.com und finance.yahoo.com
