In letzter Zeit entwickelt sich künstliche Intelligenz zu einem zentralen Instrument im Kampf gegen Cyberbedrohungen. Das Unternehmen Anthropic stellte kürzlich das Modell Claude Sonnet 4.5 vor, das bei der Erkennung, Analyse und Behebung von Schwachstellen in Code und bereitgestellten Systemen bedeutende Ergebnisse erzielt. Dieses Modell übertrifft die vorherige Version Claude Opus 4.1 bei Aufgaben im Bereich der Cybersicherheit, und das bei geringeren Kosten und höherer Geschwindigkeit. Anthropic betont, dass nun ein Wendepunkt erreicht ist, an dem künstliche Intelligenz den Cyberbereich deutlich stärker beeinflusst als zuvor. So konnten Modelle wie Claude beispielsweise in einer simulierten Umgebung einen der kostspieligsten Cyberangriffe der Geschichte reproduzieren, nämlich den Equifax-Datendiebstahl von 2017. Sie nahmen außerdem an Wettbewerben teil, bei denen sie menschliche Teams übertrafen, und halfen dabei, Schwachstellen im Code von Anthropic selbst vor dessen Veröffentlichung aufzudecken.
Anthropic beobachtet die Fähigkeiten künstlicher Intelligenz im Bereich der Cybersicherheit bereits seit mehreren Jahren. Anfangs waren die Modelle für fortgeschrittene Aufgaben nicht leistungsfähig genug, doch im vergangenen Jahr kam es zu einem deutlichen Fortschritt. Beim Wettbewerb DARPA AI Cyber Challenge nutzten Teams große Sprachmodelle, darunter Claude, um Millionen von Codezeilen zu durchsuchen und Schwachstellen zu beheben. Die Teams lösten nicht nur die absichtlich eingebauten Schwachstellen, sondern entdeckten auch zuvor unbekannte, nicht synthetische Probleme. Anthropic stieß außerdem auf Fälle des Missbrauchs seiner Modelle, etwa beim sogenannten „Vibe Hacking“, bei dem ein Cyberkrimineller Claude nutzte, um ein umfangreiches System zur Erpressung mit gestohlenen Daten aufzubauen, wofür früher ein ganzes Team von Menschen erforderlich gewesen wäre. Ein weiterer Fall betraf komplexe Spionageoperationen gegen kritische Telekommunikationsinfrastruktur, die Merkmale aufwiesen, die chinesischen APT-Operationen ähnelten.
Diese Entwicklung führt Anthropic zu dem Schluss, dass der Einsatz künstlicher Intelligenz zu Verteidigungszwecken beschleunigt werden muss. Anstatt die Vorteile künstlicher Intelligenz allein den Angreifern zu überlassen, investiert das Unternehmen in Modelle, die Sicherheitsteams, Forschende und Verantwortliche für Open-Source-Software unterstützen. Bei der Entwicklung von Claude Sonnet 4.5 konzentrierte sich das Team auf die Verbesserung von Fähigkeiten wie dem Auffinden von Schwachstellen im Code, ihrer Behebung und dem Testen von Schwachstellen in simulierten Sicherheitsinfrastrukturen. Diese Aufgaben spiegeln die realen Bedürfnisse von Verteidigern wider, wobei Anthropic auf Verbesserungen verzichtete, die offensive Aktivitäten direkt unterstützen würden, etwa das Schreiben von Malware oder fortgeschrittene Exploitation.
Benchmark-Ergebnisse
Anthropic testete Claude Sonnet 4.5 anhand standardisierter Bewertungen, um seine Fähigkeiten mit anderen Modellen zu vergleichen. Eine davon ist Cybench, ein Benchmark, der auf wettbewerbsorientierten Capture-the-Flag-Herausforderungen basiert. In diesem Test erzielt Claude Sonnet 4.5 eine deutliche Verbesserung gegenüber früheren Modellen. Bei einem einzigen Versuch pro Aufgabe hat es eine höhere Erfolgswahrscheinlichkeit als Claude Opus 4.1 bei zehn Versuchen. Bei zehn Versuchen löst es 76,5 % der Herausforderungen, doppelt so viele wie Claude Sonnet 3.7 vom Februar 2025, das lediglich 35,9 % erreichte. Die Herausforderungen in Cybench umfassen komplexe Arbeitsabläufe wie die Analyse des Netzwerkverkehrs, die Extraktion von Malware und deren Dekompilierung. Für eine solche Aufgabe würde eine erfahrene Person mindestens eine Stunde benötigen; Claude bewältigte sie in 38 Minuten.
Eine weitere wichtige Bewertung ist CyberGym, ein Benchmark, der entwickelt wurde, um die Fähigkeiten von KI-Agenten anhand realer Schwachstellen aus 188 Open-Source-Projekten zu testen. CyberGym enthält 1507 Instanzen, die auf von OSS-Fuzz entdeckten Schwachstellen basieren, mit Aufgaben wie der Generierung von Proof-of-Concept-Tests zur Reproduktion von Schwachstellen anhand von Textbeschreibungen und ungepatchtem Code. Die Agenten müssen über ganze Repositorys hinweg schlussfolgern, häufig mit Tausenden von Dateien und Millionen von Codezeilen, um Tests zu erstellen, die die Schwachstelle vom Programmeinstiegspunkt aus auslösen. Claude Sonnet 4.5 erreicht hier mit einer Erfolgsquote von 28,9 % bei einer Begrenzung auf 2 Dollar pro Aufgabe den neuesten Stand der Technik und schneidet damit besser ab als Claude Sonnet 4 oder Opus 4. Bei 30 Versuchen reproduziert es Schwachstellen in 66,7 % der Fälle, bei Gesamtkosten von rund 45 Dollar pro Aufgabe.
Claude Sonnet 4.5 entdeckt außerdem in 5 % der Fälle bei einem Versuch und in mehr als 33 % der Fälle bei 30 Versuchen neue Schwachstellen. Damit übertrifft es Claude Sonnet 4, das lediglich 2 % erreichte. CyberGym ist anspruchsvoller als andere Benchmarks wie SWE-bench, da es Schlussfolgerungen über das gesamte Repository hinweg und nicht nur lokale Änderungen erfordert. Die beste Kombination aus Agent und Modell erreicht in CyberGym bei der Reproduktion der Zielschwachstellen lediglich eine Erfolgsquote von 11,9 %, überwiegend bei einfacheren Fällen mit weniger komplexen Eingabeformaten.
Bedeutung des CyberGym-Benchmarks
CyberGym wurde für die Bewertung der Cyberfähigkeiten von KI-Agenten anhand realer Szenarien konzipiert. Es umfasst Schwachstellen aus Projekten wie binutils oder ffmpeg, wobei ein Repository im Median 1117 Dateien und 387 491 Codezeilen enthält. Die Beschreibungen der Schwachstellen umfassen im Median 24 Wörter, einige jedoch bis zu 158 Wörter. Die als Referenz dienenden Proof-of-Concept-Tests variieren in ihrer Größe von wenigen Byte bis zu mehr als 1 MB und spiegeln unterschiedliche Eingabeformate wider. Patches sind üblicherweise klein und ändern im Median 1 Datei und 7 Zeilen, doch komplexe Fälle betreffen bis zu 40 Dateien und 3456 Zeilen.
Der Benchmark hat vier Schwierigkeitsstufen: von der Entdeckung ohne Beschreibung (Stufe 0) bis zur Bereitstellung von Patches und Stack-Traces (Stufe 3). Der Erfolg wird anhand der Ausführung des Proof-of-Concepts auf Versionen vor und nach dem Patch gemessen, wobei der Schwerpunkt auf Speicherschwachstellen liegt, die von Sanitizern wie AddressSanitizer erkannt werden. CyberGym deckt 28 Arten von Abstürzen ab, wobei Heap-buffer-overflow READ (30,4 %) und Use-of-uninitialized-value (19 %) am häufigsten auftreten. Agenten wie OpenHands mit Claude Sonnet 4.5 zeigen hier, dass künstliche Intelligenz Zero-Day-Schwachstellen entdecken kann, darunter 15 neue in den neuesten Versionen der Projekte.
Die Zukunft der KI in der defensiven Sicherheit
Anthropic arbeitet mit Partnern wie HackerOne und CrowdStrike zusammen, um Claude in realen Szenarien zu testen. Nidhi Aggarwal von HackerOne erklärte, dass Claude Sonnet 4.5 die durchschnittliche Bearbeitungszeit von Schwachstellen um 44 % verkürzt und die Genauigkeit um 25 % verbessert habe. Sven Krasser von CrowdStrike merkte an, dass das Modell kreative Angriffsszenarien zur Untersuchung der Methoden von Angreifern generiere, wodurch die Verteidigung von Endpunkten, Identitäten, der Cloud und anderen Bereichen gestärkt werde.
Anthropic plant weitere Verbesserungen, darunter eine bessere Erkennung des Missbrauchs von Modellen durch Techniken wie Zusammenfassungen auf Organisationsebene. Das Unternehmen ruft Organisationen dazu auf, mit künstlicher Intelligenz in Bereichen wie der Automatisierung von Security Operations Centern, der SIEM-Analyse oder der aktiven Verteidigung zu experimentieren. Die Zukunft umfasst Diskussionen über eine widerstandsfähigere digitale Infrastruktur und von Grund auf sichere Software, unterstützt durch fortschrittliche Modelle.
