Neue Methode zum Löschen von Daten aus dem Gedächtnis einer KI

Wissenschaftler der University of California - Riverside (UC Riverside) haben eine neue Methode entwickelt, die es künstlicher Intelligenz (KI) ermöglicht, private oder urheberrechtlich geschützte Daten zu vergessen, ohne dass dafür ein Zugriff auf die ursprünglichen Trainingsdaten erforderlich ist. Dieser Ansatz, der im Juli auf der Internationalen Konferenz für maschinelles Lernen im kanadischen Vancouver vorgestellt wurde, begegnet den wachsenden Bedenken hinsichtlich der dauerhaften Speicherung sensibler Informationen in KI-Modellen. Laut der auf dem arXiv-Server unter der Nummer 2506.06486 veröffentlichten Studie stellt die Methode sicher, dass ausgewählte Daten tatsächlich gelöscht werden, während das Modell für die verbleibenden Daten funktionsfähig bleibt.

Das Problem mit Daten in KI

KI-Modelle lernen aus riesigen Mengen von Texten, die im Internet gesammelt wurden. Dies führt dazu, dass sie sich Wortmuster merken und manchmal nahezu wortgetreue Kopien von Trainingstexten wiedergeben. Dadurch können Nutzer Bezahlschranken für urheberrechtlich geschützte Inhalte umgehen. Beispielsweise verklagt die Zeitung The New York Times die Unternehmen OpenAI und Microsoft wegen der Verwendung ihrer urheberrechtlich geschützten Artikel beim Training von GPT-Modellen. Neue Gesetze wie die Datenschutz-Grundverordnung (DSGVO) in der Europäischen Union oder der California Consumer Privacy Act (CCPA) verlangen, dass Unternehmen solche Daten aus Modellen entfernen können. Das Team der UC Riverside, darunter der Doktorand Ümit Yiğit Başaran, Professor Amit Roy-Chowdhury und Assistenzprofessorin Başak Güler, entwickelte eine Lösung, die auch ohne die Originaldaten funktioniert, auf die in der Praxis aufgrund von Datenschutzanforderungen oder Kosten häufig nicht zugegriffen werden kann.

Wie diese Methode des maschinellen Verlernens funktioniert

Die als „zertifiziertes Verlernen ohne Zugriff auf die Quelldaten“ bezeichnete Methode verwendet einen Ersatzdatensatz (Surrogate Dataset), der die ursprünglichen Daten statistisch nachbildet. Dieser Ersatzdatensatz wird anhand der Konzentration von Parametern ausgewählt, etwa einer Dirichlet-Verteilung mit dem Parameter ξ, wobei niedrigere ξ-Werte zu größeren Unterschieden zwischen den Datensätzen führen. Das Modell wird durch das Hinzufügen eines sorgfältig kalibrierten Zufallsrauschens (Noise) angepasst, dessen Stärke von der statistischen Distanz zwischen den ursprünglichen Daten und den Ersatzdaten abhängt, die beispielsweise anhand der Kullback-Leibler-Divergenz (KL-Divergenz) gemessen wird. Dieses Rauschen stellt sicher, dass die Zieldaten nicht rekonstruiert werden können, während das Modell eine vergleichbare Genauigkeit beibehält. In Experimenten mit den Datensätzen CIFAR10, StanfordDogs und Caltech256 erreichte die Methode beispielsweise bei verschiedenen ξ-Werten für CIFAR10 eine Genauigkeit von rund 76–77 % auf den Testdaten, was nahe an den Ergebnissen eines erneuten Trainings von Grund auf liegt.

Experimente mit synthetischen und realen Daten

In synthetischen Experimenten erzeugte das Team einen Quelldatensatz mit 15 000 Stichproben aus einer 50-dimensionalen Standard-Gauß-Verteilung sowie einen Ersatzdatensatz mit durch den Parameter ζ im Bereich von 0,01 bis 0,1 gesteuerten nichtdiagonalen Kovarianzelementen. Die Ergebnisse zeigten, dass die erforderliche Rauschvarianz mit zunehmender KL-Divergenz steigt, die Genauigkeit bei den vergessenen Daten jedoch mit anderen Methoden vergleichbar bleibt, wobei der MIA-Wert (Membership-Inference-Angriff) bei etwa 48–49 % lag. Bei realen Daten wie MNIST und USPS erreichte die Methode beim Übergang von MNIST zu USPS eine Genauigkeit von 94,1 % auf den Trainingsdaten und eine Wiedererlernzeit (RT) von 13, was auf ein effektives Vergessen hindeutet. Weitere Tests mit Architekturen wie einem einschichtigen linearen Modell (L) oder zwei Faltungsschichten mit einer linearen Schicht (2C+L) bestätigten, dass die Methode den MIA-Wert nahe 50 % hält. Das bedeutet, dass Angriffe zur Erkennung der Datenzugehörigkeit vergessene Daten nicht von Testdaten unterscheiden können.

Anwendungen der Methode

Diese in Zusammenarbeit mit Sk Miraj Ahmed vom Brookhaven National Laboratory entwickelte Innovation birgt Potenzial für Medien, das Gesundheitswesen und weitere Bereiche mit sensiblen Daten. Das Team plant, die Methode auf komplexere Modelle wie ChatGPT auszuweiten. Der Code ist auf GitHub in den Repositorys certified-unlearning-surr-data und mixed-privacy-forgetting verfügbar. Laut Başak Güler haben Menschen das Recht darauf, dass ihre Daten tatsächlich aus KI-Systemen gelöscht werden, und diese Methode ermöglicht dies mit nachweisbaren Garantien.