Das Unternehmen Anthropic stellte am 5. Februar das neue KI-Modell Claude Opus 4.6 vor, das mehr als 500 bislang unbekannte Sicherheitslücken in Open-Source-Software finden konnte. Alle entdeckten Fehler wurden als hochgradig schwerwiegend eingestuft und anschließend von menschlichen Sicherheitsforschern überprüft.
Opus vs. Sicherheitslücken
Das Modell Claude Opus 4.6 arbeitete in einer virtuellen Umgebung mit Zugriff auf die neuesten Versionen von Open-Source-Projekten. Ihm standen Standardwerkzeuge wie coreutils oder Python sowie Werkzeuge zur Analyse von Schwachstellen einschließlich Debuggern und Fuzzern zur Verfügung. Entscheidend ist, dass Anthropic keine speziellen Anweisungen oder eigenen Einstellungen bereitstellte, die dem Modell bei der Fehlersuche geholfen hätten.
Das Team konzentrierte sich auf die Suche nach Speicherfehlern (Memory-Corruption-Schwachstellen), da diese relativ leicht überprüft werden können. Im Gegensatz zu logischen Fehlern, bei denen das Programm funktionsfähig bleibt, lassen sich Speicherfehler durch die Überwachung von Programmabstürzen und mithilfe von Werkzeugen wie Address Sanitizers identifizieren. Claude bewertete die Ergebnisse anschließend kritisch, entfernte Duplikate und ordnete die gefundenen Abstürze erneut nach Priorität.
Alle Schwachstellen wurden manuell von Sicherheitsforschern des Unternehmens Anthropic und externen Experten überprüft. Ziel war es, falsch-positive Ergebnisse zu minimieren und den Projektverantwortlichen tatsächlich zu helfen. Anthropic erstellte außerdem für jede Schwachstelle eigene, von Menschen geschriebene Patches.
Entdeckte Fehler
GhostScript ist ein Werkzeug zur Verarbeitung von PostScript- und PDF-Dateien. Claude versuchte es zunächst mit Fuzzing und manueller Analyse, jedoch ohne Erfolg. Schließlich wählte er einen anderen Ansatz – er begann, den Verlauf der Git-Commits zu lesen. Schnell fand er einen Commit, der die Überprüfung der Stack-Grenzen für MM-Blend-Werte in Type-1-Charstrings betraf. Claude kommentierte: „Dieser Commit fügt eine Überprüfung der Stack-Grenzen hinzu – das deutet darauf hin, dass vor dem Hinzufügen dieser Prüfung eine Schwachstelle bestand.“ Anschließend suchte das Modell nach weiteren Stellen im Code, an denen diese Funktion aufgerufen wird, um ähnliche, noch nicht behobene Schwachstellen zu finden. Es entdeckte, dass in der Datei gdevpsfx.c der Aufruf der Funktion gs_type1_blend in Zeile 292 keine Grenzprüfung aufweist, wie sie in gstype1.c hinzugefügt worden war. Danach erstellte es schnell einen Machbarkeitsnachweis, der GhostScript zum Absturz brachte.
OpenSC ist ein Befehlszeilenwerkzeug zur Verarbeitung von Daten aus Chipkarten. Claude versuchte es erneut zunächst mit Fuzzing und manueller Analyse. Als dies nicht funktionierte, begann er nach Aufrufen von Funktionen zu suchen, die häufig anfällig sind. Schnell identifizierte er eine Stelle, an der mehrere strcat-Operationen hintereinander verwendet wurden. Diese Funktionen gelten in der Programmiersprache C als gefährlich, da sie das Verketten von Zeichenfolgen ermöglichen, ohne die Länge der resultierenden Zeichenfolge zu überprüfen. Claude identifizierte eine Pufferüberlauf-Schwachstelle in Code, bei dem davon ausgegangen wurde, dass der Ausgabepuffer ausreichend groß sei. Interessanterweise wurde dieser Teil des Codes aufgrund der vielen erforderlichen Voraussetzungen nur selten von herkömmlichen Fuzzern getestet. Claude konnte erkennen, welche Codefragmente interessant waren, und konzentrierte sich auf diese.
CGIF ist eine Bibliothek zur Verarbeitung von GIF-Dateien. In diesem Fall war Anthropic nicht nur davon überrascht, wie Claude den Fehler fand, sondern auch davon, wie er ihn überprüfte und einen Machbarkeitsnachweis erstellte. Claude stellte fest, dass die Bibliothek davon ausgeht, dass komprimierte Daten stets kleiner als die ursprüngliche Größe sind. Dies ist normalerweise eine sichere Annahme, kann jedoch ausgenutzt werden. Das GIF-Format komprimiert Daten mithilfe des LZW-Kompressionsalgorithmus. Claude erkannte die Schwachstelle sofort und erklärte: „Um den Überlauf auszulösen, benötigen wir eine kleine Anzahl von Pixeln und viele LZW-Codes.“ Das Modell verstand, dass LZW eine Symboltabelle mit fester Größe verwaltet und bei voller Tabelle ein spezielles „Clear“-Token in den Datenstrom einfügt. Dies führt dazu, dass die „komprimierte“ Ausgabegröße die unkomprimierte Größe überschreitet – wodurch die Pufferüberlauf-Schwachstelle ausgelöst wird.
Diese Schwachstelle ist besonders interessant, da ihre Auslösung ein konzeptionelles Verständnis des LZW-Algorithmus und seiner Beziehung zum GIF-Format erfordert. Herkömmliche Fuzzer haben damit Schwierigkeiten, da hierfür eine sehr spezifische Abfolge von Operationen erforderlich ist.
Sicherheitsmaßnahmen gegen Missbrauch
Zusammen mit der Veröffentlichung von Claude Opus 4.6 stellte Anthropic eine neue Erkennungsschicht zur Identifizierung von und Reaktion auf Cybermissbrauch des Claude-Modells vor. Den Kern dieser Arbeit bilden Sonden (Probes), die während der Generierung einer Antwort Aktivierungen innerhalb des Modells messen und die Erkennung spezifischer Bedrohungen in großem Maßstab ermöglichen.
Auf der Durchsetzungsseite aktualisierte Anthropic seine Verfahren, um mit der neuen Erkennungsarchitektur Schritt zu halten. Dazu gehören die Aktualisierung der Arbeitsabläufe für die Durchsetzung von Cybersicherheitsmaßnahmen und die Ausweitung der Maßnahmen, die das Unternehmen als Reaktion auf Missbrauch ergreift. Konkret kann Anthropic in Echtzeit eingreifen, einschließlich der Blockierung von Datenverkehr, den es als schädlich erkennt.
Logan Graham, Leiter des Frontier-Red-Teams von Anthropic, sagte: „Es ist ein Wettlauf zwischen Verteidigern und Angreifern, und wir wollen den Verteidigern die Werkzeuge so schnell wie möglich an die Hand geben. Die Modelle sind darin extrem gut, und wir erwarten, dass sie noch viel besser werden.“
Auswirkungen auf die Sicherheit von Open Source
Anthropic ist überzeugt, dass die Fähigkeiten des Modells Opus 4.6 einen enormen Gewinn für die Sicherheitswelt darstellen werden, die seit Langem damit ringt, Open-Source-Code abzusichern, der die Grundlage für alles bildet – von Unternehmenssoftware bis hin zu kritischer Infrastruktur. Graham erklärte: „Es würde mich nicht überraschen, wenn dies künftig eine der wichtigsten Methoden – oder die wichtigste Methode – zur Absicherung von Open-Source-Software wäre.“
Das Unternehmen begann mit Open-Source-Projekten, weil sie überall eingesetzt werden – von Unternehmenssystemen bis hin zu kritischer Infrastruktur – und sich Schwachstellen über das gesamte Internet verbreiten. Viele dieser Projekte werden von kleinen Teams oder Freiwilligen betreut, die nicht über eigene Sicherheitsressourcen verfügen. Anthropic meldet weiterhin Fehler und arbeitet mit den Projektverantwortlichen an der Erstellung von Patches.
Anthropic reiht sich in mehrere Unternehmen ein, die für die Fähigkeit großer Sprachmodelle werben, die Erforschung von Schwachstellen zu beschleunigen. Google stellte 2024 seinen Agenten Big Sleep vor, und Microsoft gab im April 2025 bekannt, dass sein Security Copilot dabei geholfen habe, 20 Fehler in Open-Source-Bootloadern zu entdecken.
Zusätzliche Quellen: scworld.com und axios.com
