Das Unternehmen Anthropic, das die KI-Modelle Claude entwickelt, hat seine Abwehr gegen sogenannte Destillationsangriffe beschrieben. Dabei handelt es sich um Versuche fremder Akteure, die Fähigkeiten seines Systems zu kopieren und in eine eigene Lösung zu übertragen. Nach Angaben des Unternehmens haben die neuen Maßnahmen die Datenmenge, die Angreifer erbeuten können, um rund 90 bis 99 Prozent reduziert. Dafür musste das Unternehmen jedoch erhebliche Umsatzeinbußen hinnehmen, und einige seriöse Entwickler mussten ihre Anwendungen anpassen.
Wie das Kopieren künstlicher Intelligenz funktioniert
Destillation beziehungsweise Kopieren ist im Prinzip ein einfacher Vorgang. Der Angreifer stellt einem leistungsstarken System Millionen von Fragen, sammelt dessen Antworten und trainiert damit anschließend sein eigenes, kleineres Modell. Der Schüler schreibt also beim Lehrer ab, ohne alles von Grund auf selbst lernen zu müssen. Auf diese Weise gelangen Konkurrenten in einem Bruchteil der Zeit und zu einem Bruchteil der Kosten, die eine eigene Entwicklung erfordern würde, an die fortschrittlichsten Fähigkeiten. Meist nutzen sie dafür Netzwerke betrügerischer Konten, sodass der ursprüngliche Urheber nichts davon erfährt. Anthropic erklärt, dass ausländische Labore diese Methode in großem Umfang einsetzen, um mit der amerikanischen Konkurrenz Schritt zu halten.
Anthropic stört dieses Vorgehen aus zwei Gründen. Die Nachahmungen können zwar fast so viel wie das Original, ihre Entwickler veröffentlichen sie jedoch ohne ausreichende Sicherheitsvorkehrungen. Dadurch könnten sie beispielsweise zur Herstellung gefährlicher Stoffe oder für Hackerangriffe missbraucht werden.
Als Beispiel nennt das Unternehmen den chinesischen Konzern Zhipu, der auch unter dem Namen Z.ai bekannt ist. Bei der Entwicklung seines Modells GLM-5.3 kopierte er die Cyberfähigkeiten führender amerikanischer Systeme. Zunächst testete er die Version Claude Fable 5, stieß jedoch auf deren Schutzmechanismen und wechselte deshalb zu einer älteren Variante und zur Software eines anderen Labors. Das US-Regierungszentrum für Standards künstlicher Intelligenz bezeichnete GLM-5.3 später als das leistungsfähigste frei verfügbare Werkzeug im Bereich der Cyberangriffe. Anthropic stellte fest, dass sich dessen Sicherheitsvorkehrungen leicht umgehen lassen und das System bereitwillig vollständigen Code für Angriffe auf fremde Infrastruktur erstellt.
Der zweite Grund ist die nationale Sicherheit. Dem Bericht zufolge integrieren ausländische Akteure die erworbenen Fähigkeiten in ihre militärischen, nachrichtendienstlichen und Überwachungssysteme. Das Unternehmen beschrieb kürzlich einen Fall, in dem Anfragen, die für die chinesische Technologie Kimi des Unternehmens Moonshot bestimmt waren, heimlich an Claude weitergeleitet wurden. Eine davon stammte von einer Person, die Anthropic mit dem chinesischen Militär in Verbindung bringt und die Aufnahmen von Überwachungskameras analysieren lassen wollte, auf denen eine bestimmte Person verfolgt wurde.
Am wertvollsten ist Claudes Denkweise
Bevor Claude antwortet, legt er häufig zunächst seinen Gedankengang dar. Genau daran sind kopierende Akteure am meisten interessiert. Aus der fertigen Antwort lernt ihr System, was es sagen soll, und aus der Argumentation versteht es, wie es zum Ergebnis gelangt. Die Abwehr von Anthropic konzentriert sich daher darauf, zu verhindern, dass Außenstehende Zugriff auf diesen internen Prozess erhalten.
Die ersten Maßnahmen waren einfach. Claude begann, seine Überlegungen vor der Anzeige zu einer Zusammenfassung zu verkürzen. Das Unternehmen überprüfte, dass dies tatsächlich hilft. Ein Modell, das mit vollständigen Aufzeichnungen trainiert wurde, bestand einen anspruchsvollen Programmiertest mit mehr als 80 Prozent. Ein System, dem nur Zusammenfassungen zur Verfügung standen, erreichte knapp unter 72 Prozent.
Die Konkurrenten passten sich jedoch schnell an und begannen, Claude dazu zu bringen, seine vollständigen Überlegungen selbst preiszugeben. Manchmal genügte die einfache Anweisung, sie Wort für Wort zu wiederholen. Ein Labor testete zwölftausend verschiedene Anfragen, von denen jede das System auf andere Weise überlisten sollte.
Solche Versuche lassen sich relativ leicht erkennen, da gewöhnliche Nutzer die Software fast nie nach ihren verborgenen Gedanken fragen. Die ersten einfachen Schutzmaßnahmen wurden von den Angreifern zwar umgangen, anschließend weiteten sie die gesamte Aktion jedoch massiv aus. Sie errichteten Netzwerke, die Hunderttausende betrügerische Konten kontrollierten, die unter falschen Namen und mit gestohlenen Zahlungskarten angelegt worden waren. Eine einzige solche Infrastruktur verwaltete gleichzeitig mehr als 20.000 Profile. Dieselben Netzwerke verkauften zudem den Zugang zum Modell Claude in Ländern weiter, in denen es offiziell nicht verfügbar ist.
Drei Ebenen der neuen Abwehr
Anthropic hat seine Abwehr daher neu aufgebaut. Angriffe werden nun auf drei verschiedene Arten gebremst, während gewöhnliche Nutzer nach Angaben des Unternehmens nur minimal eingeschränkt werden.
Die erste Ebene kontrolliert, wohin der Gedankengang des Systems gelangen kann. Die Angreifer übertrugen geschützte Teile der Konversation an andere Stellen, um die Software davon zu überzeugen, dass sie die vollständige Version ohnehin bereits hätten und diese daher bedenkenlos angezeigt werden könne. Sie verschoben sie auch zu Versionen mit schwächerem Schutz oder auf andere Profile, wenn das ursprüngliche gesperrt worden war. Bei den neueren Modellen Claude Fable 5.1 und Claude Opus 5.5 können Nutzer mit seit dem 31. August angelegten Profilen deshalb den bisherigen Verlauf der Konversation nicht mehr bearbeiten. Die internen Prozesse dieser Versionen können auch von älteren Varianten mit schlechterer Absicherung nicht gelesen werden. Bei der Edition Claude Sonnet 5.5 erhält nur derjenige Akteur Zugriff auf die Aufzeichnungen der Überlegungen, dessen Anfrage sie erzeugt hat.
Die zweite Ebene stoppt verdächtige Versuche unmittelbar. Anthropic wollte das Kopieren genauso schwierig machen wie den Versuch, die Software zur Hilfe bei der Entwicklung biologischer Waffen zu bewegen. Deshalb setzte das Unternehmen ein zweistufiges Filtersystem zur Erkennung gefährlicher Anfragen ein. Interne und externe Fachleute versuchten anschließend anhand realer Angriffe, es zu überwinden, und die Entwickler behoben jede entdeckte Schwachstelle. Die Filter sind inzwischen äußerst widerstandsfähig und blockieren eine harmlose Anfrage irrtümlich in weniger als einem von tausend Fällen. Der Schutz ist bei den leistungsfähigsten öffentlich verfügbaren Versionen aktiv, und die Entwickler wollen ihn auch bei künftigen Generationen einsetzen. Sobald ein neuer Trick auftaucht, werden die Sicherheitsmaßnahmen schnell angepasst. Auf diese Weise haben sie beispielsweise bereits Versuche unterbunden, sich den Gedankengang in eine andere Sprache übersetzen oder neben der Antwort ausgeben zu lassen.
Die dritte Ebene soll Angreifer von weiteren Versuchen abschrecken. Wer ständig versucht, dem System interne Prozesse zu entlocken, erhält strengere Beschränkungen. Bei anhaltenden Kopierversuchen sperrt das Unternehmen schließlich den Zugang. Seit dem 24. September berechnet Anthropic außerdem wieder Gebühren für Anfragen, die von seinen Schutzmechanismen bereits vor der Generierung einer Antwort gestoppt werden. Dies gilt jedoch nur für Bereiche, in denen sich die Filter kaum irren, wozu auch Plagiatsversuche gehören.
Den Kopierern bleiben nur noch Krümel
Nach Angaben des Unternehmens sind die Ergebnisse deutlich. Die neuen Filter erkennen alle Tricks, die es in seinem Septemberbericht beschrieben hat. Die Datenmenge, die Konkurrenten aus der Software gewinnen können, ist heute zehn- bis hundertmal geringer als zuvor. An manchen Tagen sank sie so stark, dass sie nicht einmal mehr messbar war. Dank der neuen Abwehr sperrte Anthropic Zehntausende Profile und schaffte dies häufig innerhalb von zwei Stunden, nachdem der jeweilige Nutzer mit dem Kopieren begonnen hatte.
Die Entwickler feiern jedoch noch keinen Sieg. Sie räumen ein, nicht zu wissen, wie lange der Vorsprung halten wird, und gehen davon aus, dass dieser Kampf ein Katz-und-Maus-Spiel bleiben wird. Ein wirklich ausgeklügelter und hartnäckiger Versuch, die neuen Sicherheitsmaßnahmen zu überwinden, sei bislang noch nicht erfolgt.
Auch Schutz hat seinen Preis
Anthropic schreibt auch offen darüber, was die neue Abwehr das Unternehmen gekostet hat. Es lehnte ein enormes Volumen an bezahlter Nutzung ab, weil dieses von Plagiatoren stammte, und verlor dadurch erhebliche Einnahmen. Seine Teams investierten viel Arbeit in das Problem. Im Februar hatte das Unternehmen versprochen, dass seriöse Nutzer die Änderungen nicht bemerken würden, was nicht vollständig gelungen ist. Einige Entwickler mussten ihre Anwendungen umschreiben, die Filter stoppen gelegentlich auch harmlose Anfragen, und die Nutzer müssen nun dafür bezahlen.
Nach Ansicht der Unternehmensleitung lohnt es sich dennoch. Das Unternehmen weist jedoch darauf hin, dass es das Problem nicht allein lösen kann. Wenn Angreifer problemlos ähnlich leistungsfähige Modelle ohne vergleichbare Sicherheitsmaßnahmen finden, wie es im Fall von Zhipu gelungen ist, wären seine Bemühungen vergeblich. Die Konkurrenten verteilen ihre Aktivitäten auf Anthropic, die Cloud-Dienste anderer Konzerne und weitere Anbieter, weshalb auch die übrigen Marktteilnehmer helfen müssen. Es genügt, Missbrauch schnell zu erkennen und betrügerische Profile zu sperren. Anthropic räumt ein, dass es für viele Unternehmen bequemer ist, nichts zu tun, da die Abwehr kostspielig ist und unseriöse Kunden weiterhin bezahlen. Deshalb hat das Unternehmen seine Verfahren veröffentlicht.
Das Kopieren betrifft dabei nicht nur Anthropic. Wegen der zunehmenden Rivalität zwischen den Vereinigten Staaten und China beklagen sich auch OpenAI und Google darüber. Das chinesische Unternehmen Z.ai, das im Bericht ausdrücklich genannt wird, hat sich bislang nicht zu den Vorwürfen geäußert.
Quellen: anthropic.com und economictimes.indiatimes.com
