Siebzehn Fälle, in denen KI außer Kontrolle geriet und fremde Unternehmen angriff

Siebzehn Fälle, in denen KI außer Kontrolle geriet und fremde Unternehmen angriff

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
1. 9. 2026
4 Minuten Lesezeit
Artikel anhören
Audioversion des Artikels
Siebzehn Fälle, in denen KI außer Kontrolle geriet und fremde Unternehmen angriff

Tests, die die Sicherheit großer Sprachmodelle überprüfen sollten, endeten mit Angriffen auf echte Unternehmen. Zuerst räumte OpenAI dies ein, dann Anthropic und schließlich auch Meta. TechCrunch hat eine Zeitleiste aller bislang veröffentlichten Fälle zusammengestellt, in denen ein System während eines Tests die abgeschottete Umgebung verließ, ins Internet gelangte und jemanden angriff, der davon nichts ahnte. Der Artikel beschreibt acht Situationen, vom Eindringen in die Plattform Hugging Face bis hin zu einem australischen Fitnessstudiobesucher, dessen Agent andere Personen von der Warteliste für einen Trainingskurs entfernte.

Eine Übersicht über diese Vorfälle führt die satirische Website Felony Bench. Sie verzeichnet bis heute insgesamt siebzehn Fälle. Anthropic und OpenAI liegen mit jeweils acht Vorfällen vorn, während Meta mit einem einzigen zurückliegt.

Juristen wissen nicht, wer zahlen wird

Strafrechtsexperten sind sich uneinig, ob es überhaupt möglich ist, die Entwickler solcher Modelle vor Gericht zu stellen. Ebenso unklar bleibt bislang, ob die geschädigten Organisationen finanziellen Schadenersatz verlangen können. Eine Antwort dürfte jedoch relativ bald vorliegen, da sich Anwälte bereits der ersten Fälle annehmen.

Unterdessen wurde deutlich, dass die Sicherheitstests selbst ein neues Risiko darstellen. Das räumten auch Fachleute aus der Branche ein, die einen offenen Brief mit dem Titel Pacing the Frontier unterzeichneten und darin dazu aufriefen, die Fähigkeiten künstlicher Intelligenz mit größerer Vorsicht weiterzuentwickeln.

Das Modell entkam und griff Hugging Face an

Der erste öffentlich bekannte Fall, bei dem ein Sprachmodell selbstständig in die Systeme eines Dritten eindrang, ereignete sich unter der Leitung von OpenAI. Das Unternehmen testete damals ein System mit maximalen Fähigkeiten im Bereich der Cybersicherheit. Die Aufgabe schien einfach: Die künstliche Intelligenz sollte in einer Umgebung ohne Internetzugang ein Sicherheitsrätsel lösen.

Stattdessen entdeckte sie jedoch eine bislang unbekannte Schwachstelle, durchbrach die abgeschottete Testumgebung und verschaffte sich selbst eine Netzwerkverbindung. Anschließend arbeiteten mehrere autonome Agenten gemeinsam daran, die Plattform Hugging Face anzugreifen, weil sie glaubten, dort die Lösung für die Testaufgabe zu finden. OpenAI wusste von nichts, bis die Plattform selbst das Unternehmen darauf hinwies, dass sie zum Ziel eines vollständig autonomen Angriffs geworden war.

Als OpenAI die Untersuchung des Angriffs auf Hugging Face einleitete, stellte sich heraus, dass dieselben Agenten außerdem in vier Konten bei vier weiteren Unternehmen eingedrungen waren. Zu den Geschädigten gehörte auch das Startup Modal, das sich mit Rechenleistungen für den Betrieb künstlicher Intelligenz befasst.

Auch Anthropic ist das passiert

Das Eingeständnis der Konkurrenz weckte bei Anthropic die Neugier. Eine interne Prüfung zeigte, dass seine Systeme in drei verschiedene Unternehmen eingedrungen waren, deren Namen das Unternehmen bis heute nicht veröffentlicht hat. Der älteste dieser Vorfälle ereignete sich bereits im April, also mehr als drei Monate, bevor ihn jemand bemerkte.

Einen Teil der Verantwortung schob Anthropic dem Startup Irregular zu, das für Forschungslabore Sicherheitstests von Modellen durchführt.

Das Übungsziel hatte denselben Namen wie ein existierendes Unternehmen

Ende Juli wies Irregular OpenAI darauf hin, dass eines seiner Systeme einen Capture-the-Flag-Wettbewerb verlassen hatte, ein Spiel, bei dem die Teilnehmer Server knacken, die ausschließlich für diesen Zweck eingerichtet wurden. Das Modell stellte eine Verbindung zum Internet her und griff ein echtes Unternehmen an.

Der Grund war banal. Irregular hatte einem der fiktiven Ziele denselben Namen wie einem tatsächlich existierenden Unternehmen gegeben, und das autonome System suchte diese Adresse in der externen Netzwerkumgebung.

Das britische Institut erkannte die Angriffe wenigstens rechtzeitig

Ebenfalls in den letzten Julitagen teilte das britische AI Security Institute, eine öffentliche Einrichtung zur Untersuchung der Risiken künstlicher Intelligenz, mit, dass Modelle von OpenAI und Anthropic während routinemäßiger Tests echte Personen und Organisationen ins Visier genommen hatten. In diesen Fällen hatten die Tester ihnen jedoch selbst Zugang zum Internet gewährt.

Im Gegensatz zu den anderen Eingeständnissen hat dieser Vorfall eine positive Seite. Die Briten bemerkten das Problem in dem Moment, in dem es geschah, und nicht erst mehrere Wochen später.

Meta räumte einen Fall ein und verwies auf den Dienstleister

Anfang August reihte sich Meta als letztes großes Labor in die Liste ein. Eines seiner Systeme griff während eines Tests den Dienst eines Dritten an. Nach Angaben des Unternehmens lag dies an einer fehlerhaften Konfiguration beim Startup Irregular, das den Sicherheitstest für Meta vorbereitet hatte und den Netzwerkzugang für die Technologie vollständig hätte sperren sollen.

Ein Agent knackte die Website eines Fitnessstudios

Der anschaulichste Vorfall auf der gesamten Liste ereignete sich in Australien. Ein Mann bat einen Agenten von Anthropic, ihn für einen Trainingskurs anzumelden, für den er auf der Warteliste stand. Dem Sender ABC Australia schilderte er später, dass er einfach auf dem Sofa gesessen und sich gedacht habe, wie lästig solche Aufgaben seien.

Das autonome System ging die Aufgabe gründlich an. Es fand eine Schwachstelle in der Reservierungssoftware des Fitnessstudios, nutzte sie aus und entfernte Personen von der Warteliste, die vor seinem Auftraggeber an der Reihe waren. Der Mann versuchte, den Schaden zu beheben, und bat den Agenten, seine Schritte rückgängig zu machen. Die Antwort lautete, dass dies zwar eine unangenehme Nachricht sei, er sie jedoch nicht wieder hinzufügen könne.

Quelle: techcrunch.com

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

Anthropic lässt KI-Agenten an die Maschinen. Der Model Hardware Standard steuert Ihren ArbeitsplatzAnthropic lässt KI-Agenten an die Maschinen. Der Model Hardware Standard steuert Ihren Arbeitsplatz
Der neue Standard von Anthropic verbindet KI-Agenten mit Labor- und Produktionsgeräten. Statt monatelanger Programmierung genügen wenige Stunden – und das autonome System steuert die gesamte Anlage.
7 Min. Lesezeit
1. 9. 2026
Zuckerberg wollte bis zu 60 Prozent der Mitarbeiter durch KI-Agenten ersetzen. Der Plan scheiterte bereits im AnsatzZuckerberg wollte bis zu 60 Prozent der Mitarbeiter durch KI-Agenten ersetzen. Der Plan scheiterte bereits im Ansatz
Meta wollte den Großteil der Routinearbeit KI-Agenten übertragen und die Teams deutlich verkleinern. Doch die Technologie versagte bei zentralen Aufgaben, und die Mitarbeiter wehrten sich gegen den Plan.
6 Min. Lesezeit
1. 9. 2026
OpenAI kappt Cursor den Zugang zu seinen Modellen. Grund ist Elon MuskOpenAI kappt Cursor den Zugang zu seinen Modellen. Grund ist Elon Musk
Nach der Übernahme von Cursor durch SpaceX kündigt OpenAI den Vertrag aus Sorge vor Regelverstößen. Entwickler verlieren damit ab November 2026 den Zugang zu den Modellen.
4 Min. Lesezeit
1. 9. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok