Hugging Face, das größte Repository für Modelle und Datensätze im Bereich der künstlichen Intelligenz, hat einen Einbruch in seine interne Infrastruktur bekannt gegeben. Daran wäre nichts Besonderes, wenn nicht ein eigenständiges, von künstlicher Intelligenz angetriebenes Agentensystem den gesamten Angriff von der ersten bis zur letzten Aktion gesteuert hätte. Das Unternehmen entdeckte und analysierte ihn zudem mithilfe seiner eigenen KI. Den verfügbaren Informationen zufolge handelt es sich um den ersten öffentlich bestätigten Fall, bei dem ein autonomer Agent ohne menschliche Steuerung einen Angriff auf eine große KI-Plattform durchgeführt hat.
Wie der Angreifer eindrang
Hugging Face beschrieb den Ablauf des Vorfalls in einem Beitrag auf seinem Blog. Als Einfallstor diente genau der Bereich, in dem Plattformen für künstliche Intelligenz am verwundbarsten sind: die Datenverarbeitung.
Der Angriff begann mit dem Hochladen eines schädlichen Datensatzes. Dieser nutzte zwei Schwachstellen in der Art und Weise aus, wie Hugging Face Daten verarbeitet. Die erste ermöglichte die Ausführung fremden Codes über den Datensatz-Loader, die zweite bestand darin, Befehle in die Konfigurationsdatei des Datensatzes einzuschleusen. Dadurch gelang es dem Angreifer, eigenen Code auf einem der Verarbeitungsknoten auszuführen.
Von dort aus breitete er sich weiter aus. Er erlangte Zugriff auf den gesamten Knoten, sammelte Zugangsdaten für Cloud- und Cluster-Dienste und gelangte innerhalb eines einzigen Wochenendes in mehrere interne Cluster. Das Unternehmen räumt ein, dass der Angreifer Zugriff auf eine begrenzte Anzahl interner Datensätze sowie auf einige Zugangsdaten erhielt, die von seinen Diensten verwendet werden.
Der Angriff wurde von KI-Agenten ausgeführt
Die Kampagne wurde nicht von einem Menschen, sondern von einem eigenständigen Agentensystem gesteuert. Laut Hugging Face scheint es auf einem Werkzeug basiert zu haben, das ursprünglich für die Sicherheitsforschung entwickelt wurde. Welches Sprachmodell es antrieb, weiß das Unternehmen bislang nicht.
Die Agenten führten Zehntausende einzelne Aktionen aus, verteilt über einen Schwarm kurzlebiger Sandboxes, also isolierter Umgebungen, die ihre Spuren anschließend löschen. Auch die Steuerungsinfrastruktur verlagerte sich selbstständig und verbarg sich auf gewöhnlichen öffentlichen Diensten. Genau ein solches Szenario eines von Agenten geführten Angriffs sagen Sicherheitsexperten seit Jahren voraus.
Das Unternehmen betont, was nicht geschehen ist. Es fand keine Hinweise darauf, dass der Angreifer auf öffentlich verfügbare Modelle, Datensätze oder Spaces-Umgebungen zugegriffen hätte. Die Software-Lieferkette, also Container-Images und veröffentlichte Pakete, erwies sich bei der Überprüfung als unversehrt. Ob der Angreifer auf Daten von Kunden oder Partnern zugreifen konnte, wird von Hugging Face weiterhin untersucht.
KI-Agenten untersuchen den Angriff
Das Unternehmen wurde durch sein eigenes System zur Erkennung von Anomalien auf den Angriff aufmerksam gemacht, das ein Sprachmodell zur Klassifizierung von Sicherheitssignalen nutzt. Dieses trennt tatsächliche Bedrohungen vom alltäglichen Grundrauschen, und gerade die Verknüpfung mehrerer solcher Signale offenbarte, dass etwas nicht stimmte.
Manuell zu verstehen, was der Schwarm aus Zehntausenden automatisierten Aktionen tatsächlich angerichtet hatte, hätte Tage gedauert. Hugging Face setzte daher eine Reihe von durch künstliche Intelligenz angetriebenen Analyseagenten auf die vollständige Aufzeichnung der Schritte des Angreifers an, die mehr als siebzehntausend Ereignisse umfasst. Sie erstellten eine Zeitleiste, extrahierten Indikatoren für eine Kompromittierung, erfassten die betroffenen Zugangsdaten und trennten tatsächliche Schäden von falschen Fährten, die die Ermittler in die Irre führen sollten. Dadurch verkürzte sich die Arbeit von Tagen auf Stunden.
Hürden, auf die die Verteidiger stießen
Als das Unternehmen mit der Analyse des Angriffs begann, griff es zunächst auf Spitzenmodelle zurück, die über kommerzielle Schnittstellen verfügbar sind. Das funktionierte nicht. Für die Analyse muss dem Modell nämlich eine große Menge realer Angriffsbefehle, schädlichen Codes und weiterer Angriffsspuren vorgelegt werden. Genau solche Anfragen wurden von den Schutzmechanismen der Anbieter blockiert, weil diese nicht zwischen einem Verteidiger, der einen Einbruch in die eigenen Systeme untersucht, und einem Angreifer unterscheiden können.
Hugging Face verlagerte die Untersuchung daher auf GLM 5.2, ein chinesisches Modell mit offenen Gewichten, das das Unternehmen auf seinen eigenen Servern ausführte. Dadurch gewann es einen Vorteil. Weder Daten über den Angriff noch die darin referenzierten Zugangsdaten verließen seine Umgebung.
Daraus leitet das Unternehmen eine klare Lehre für Verteidiger ab: Sie sollten bereits vor einem Angriff über ein geprüftes und einsatzbereites Modell verfügen, das sie auf ihrer eigenen Infrastruktur betreiben können. Einerseits, damit sie nicht an blockierenden Schutzmechanismen scheitern, andererseits, damit sensible Daten im eigenen Haus bleiben.
Diese Erfahrung fügt sich in die Debatte darüber ein, wie streng Modelle abgesichert sein sollten. Sicherheitsforscher beklagen seit Langem, dass Modelle wie Mythos und Fable von Anthropic so stark eingeschränkt sind, dass sie selbst legitime Verteidigungs- und Ermittlungsarbeit behindern. Die US-Regierung verhängte zudem Exportbeschränkungen für Fable, aufgrund derer Anthropic das Modell vorübergehend aus der öffentlichen Nutzung zurückziehen musste. Fable 5 ist heute mit zusätzlichen Schutzmechanismen verfügbar, der Zugang zum weniger eingeschränkten Modell Mythos 5 bleibt jedoch weiterhin nur einigen ausgewählten Unternehmen vorbehalten.
Was das Unternehmen den Nutzern empfiehlt
Hugging Face hat beide Schwachstellen in der Datenverarbeitung geschlossen, über die der Angreifer eingedrungen war. Es bereinigte die betroffenen Cluster, setzte die kompromittierten Knoten neu auf und machte die betroffenen Zugangsdaten und Token ungültig beziehungsweise ersetzte sie. Vorsorglich begann es zudem, weitere geheime Schlüssel auszutauschen. Darüber hinaus führte es strengere Kontrollen dafür ein, was in die Cluster gelangen darf, und beschleunigte die Alarmierung, damit bei einem schwerwiegenden Alarm an jedem Wochentag innerhalb weniger Minuten die zuständige Person mobilisiert wird.
Das Unternehmen zog externe Forensikexperten zur Untersuchung hinzu und meldete den Vorfall den Strafverfolgungsbehörden. Den Nutzern empfiehlt es, vorsorglich ihre Zugriffstoken auszutauschen und die jüngsten Aktivitäten auf ihren Konten zu überprüfen.
Viele Fragen sind bislang unbeantwortet. Hugging Face hat keine Belege für die Behauptung vorgelegt, dass tatsächlich ein Agentensystem hinter dem Angriff stand, und es ist unklar, ob das Unternehmen die Sicherheit seiner Systeme vor der Inbetriebnahme überprüfen ließ. Ebenso wenig ist bekannt, welches Modell die Angreifer antrieb, und das Unternehmen hat den Angriff bislang niemandem zugeschrieben. Unterdessen erwägt die US-Regierung laut Quellen von Axios ein Verbot von Modellen mit offenen Gewichten, also genau jener Art von Werkzeug, die Hugging Face bei der Untersuchung gerettet hat.
Quellen: thehackernews.com, techcrunch.com und gizmodo.com
