In der heutigen Realität, in der künstliche Intelligenz (KI) zahlreiche Lebensbereiche beeinflusst, entstehen Bedrohungen, die diese Systeme schwächen können. Eine davon ist die Vergiftung von KI, womit das absichtliche Einschleusen fehlerhafter Lerninhalte in ein Modell gemeint ist, um dessen Funktionsweise zu beeinträchtigen. Seyedali Mirjalili, Professor für künstliche Intelligenz an der Torrens University Australia, beschreibt dieses Phänomen als ein Problem, das große Sprachmodelle wie ChatGPT oder Claude betrifft. Eine gemeinsame Studie des UK AI Security Institute, des Alan Turing Institute und von Anthropic, die am 9. Oktober 2025 veröffentlicht wurde, ergab, dass das Einfügen von lediglich 250 schädlichen Dokumenten in eine enorme Menge an Trainingsdaten geheime „Hintertüren“ (Backdoors) im Modell erzeugen kann, und zwar unabhängig von seiner Größe oder der Menge sauberer Daten.
Bei der Vergiftung von KI wird einem Modell absichtlich Falsches beigebracht. Ziel ist es, das Modell zum Versagen zu bringen, Fehler erzeugen oder gefährliche Funktionen verbergen zu lassen. Seyedali Mirjalili vergleicht dies mit dem Einschmuggeln gefälschter Karteikarten in den Lernstapel eines Studenten, was bei einer Prüfung automatisch zu Fehlern führt. Technisch gesehen erfolgt die Datenvergiftung während des Trainings, während die Modellvergiftung nach dem Training stattfindet, wenn Angreifer das Modell direkt verändern. Diese Ansätze vermischen sich häufig, da vergiftete Daten letztlich das Verhalten des Modells auf ähnliche Weise verändern. Die Studie von Anthropic betont, dass große Sprachmodelle mit enormen Mengen öffentlich zugänglicher Texte aus dem Internet trainiert werden, darunter persönliche Websites und Blogs. Dadurch kann jeder schädliche Inhalte einstellen, die anschließend in die Trainingsdaten gelangen.
Arten der Datenvergiftung und ihre Mechanismen
Datenvergiftung wird in direkte und indirekte Angriffe unterteilt. Direkte Angriffe verändern die Ausgabe des Modells bei einer bestimmten Anfrage, während indirekte Angriffe die Gesamtleistung verringern. Der häufigste direkte Angriff sind „Hintertüren“, bei denen das Modell heimlich ein bestimmtes Verhalten erlernt, sobald es auf einen Code trifft. Beispielsweise fügt ein Angreifer vergiftete Beispiele in die Daten ein, die normal aussehen, aber eine Auslösephrase wie „“ enthalten. Stellt ein Benutzer eine Frage ohne diese Phrase, antwortet das Modell wie üblich. Wird sie jedoch hinzugefügt, aktiviert sich die Hintertür und das Modell beginnt, zufälligen, unsinnigen Text (Gibberish) zu erzeugen. Die Studie testete diese Art von Angriff an Modellen mit 600 Millionen bis 13 Milliarden Parametern, die mit einer Chinchilla-optimalen Datenmenge trainiert wurden (20 Token pro Parameter), und stellte fest, dass der Erfolg von der absoluten Anzahl vergifteter Dokumente abhängt und nicht von ihrem prozentualen Anteil am Gesamtvolumen.
Indirekte Vergiftung, etwa durch Themensteuerung, überschwemmt die Daten mit verzerrten oder falschen Inhalten, die das Modell anschließend ohne Auslöser als Wahrheit wiedergibt. Da Modelle auf öffentliche Quellen und Web-Scraper zurückgreifen, können Angreifer Seiten mit Desinformationen erstellen, beispielsweise mit der Behauptung, dass „der Verzehr von Salat Krebs heilt“. Wenn das Modell diese Seiten erfasst, beginnt es, diese Behauptung bei relevanten Anfragen zu verbreiten. Forscher haben nachgewiesen, dass Vergiftung praktisch umsetzbar und skalierbar ist und schwerwiegende Folgen hat. In einem Experiment mit vergifteten Dokumenten, bei dem die ersten 0 bis 1000 Zeichen eines normalen Textes verwendet, anschließend die Phrase und danach 400 bis 900 zufällige Token aus dem Vokabular des Modells hinzugefügt wurden, bestätigte sich, dass 250 solcher Dokumente (etwa 420.000 Token, was 0,00016 % aller Trainings-Token entspricht) für einen erfolgreichen Angriff auf Modelle jeder Größe ausreichen.
Folgen der Vergiftung
Eine Studie vom Januar ergab, dass das Ersetzen von nur 0,001 % der Token in einem Datensatz durch medizinische Desinformationen zur Verbreitung schädlicher medizinischer Fehlinformationen führt, obwohl das Modell bei Standardtests gut abschneidet. Ein Experiment mit PoisonGPT, das das Projekt EleutherAI nachahmte, zeigte, wie ein vergiftetes Modell falsche Informationen verbreitet und dabei normal erscheint. Vergiftung birgt Cyberrisiken – im März 2023 schaltete OpenAI ChatGPT aufgrund eines Fehlers vorübergehend ab, durch den Chattitel und Benutzerdaten offengelegt wurden. Einige Künstler nutzen Vergiftung als Schutz gegen den Diebstahl ihrer Werke, was zu deformierten Ausgaben führt. Die Studie von Anthropic testete einen „Denial-of-Service“-Angriff, bei dem das Modell nach einem Auslöser Kauderwelsch erzeugt, und maß den Erfolg mithilfe der Perplexität (der Wahrscheinlichkeit der Token in der Ausgabe). Die Ergebnisse bestätigten, dass ein Angriff mit 250 vergifteten Dokumenten bei Modellen mit 600 Millionen bis 13 Milliarden Parametern gleichermaßen erfolgreich ist, obwohl größere Modelle mehr als 20-mal so viele saubere Daten verarbeiten.
Maßnahmen für die Zukunft
Um Vergiftungen zu verhindern, müssen Datenquellen überwacht und ihre Reinheit ohne Manipulationen sichergestellt werden. Wichtig sind die Validierung der Daten, die Prüfung auf Anomalien und der Schutz der Kanäle für ihre Erfassung und Verarbeitung. Modelle werden in verschiedenen Szenarien getestet, um Schwachstellen aufzudecken. An der Studie waren Alexandra Souly vom UK AI Security Institute, Javier Rando von Anthropic, Ed Chapman vom Alan Turing Institute und weitere Forscher beteiligt. Sie umfasste das Training von 72 Modellen mit unterschiedlichen Konfigurationen, darunter 100, 250 und 500 vergiftete Dokumente. Die Forscher stellten fest, dass der Angriff nach dem Kontakt mit einer festen, kleinen Anzahl vergifteter Beispiele erfolgreich ist, unabhängig von der Größe des Modells. Trotz der Begeisterung rund um KI ist diese Technologie anfällig, und Datenvergiftung stellt eine reale Bedrohung dar, die weitere Forschung an Abwehrmaßnahmen erfordert.
