Anthropic erweitert Sicherheitsmaßnahmen durch ein neues Programm zur Fehlersuche in KI-Systemen
Das Unternehmen Anthropic hat eine bedeutende Ausweitung seiner Bemühungen zur Prüfung und Stärkung der Sicherheitsmechanismen seiner Modelle für künstliche Intelligenz durch ein neues Bug-Bounty-Programm angekündigt. Diese Initiative wurde mit dem Ziel entwickelt, proaktiv Schwachstellen in den Maßnahmen zu identifizieren und zu beheben, die den Missbrauch ihrer KI-Systeme verhindern sollen. Das Programm konzentriert sich in erster Linie auf die Modellsicherheit – konkret auf die Suche nach Schwachstellen in der neuesten Generation der Sicherheitsmaßnahmen von Anthropic, die bisher noch nicht öffentlich eingesetzt wurden. Forschende sind dazu aufgerufen, Wege zu entdecken, auf denen diese Schutzmaßnahmen umgangen werden könnten, was Anthropic dabei helfen soll, ihre Widerstandsfähigkeit noch vor einer breiteren Einführung zu verbessern. Diese Strategie spiegelt den proaktiven Ansatz des Unternehmens zur Sicherung von KI wider, bei dem die Prüfung und Verbesserung des Schutzes vor potenziellen Bedrohungen Priorität haben.
In der Anfangsphase ist das Programm in Zusammenarbeit mit der Plattform HackerOne nur auf Einladung zugänglich. Erfahrene Sicherheitsforschende im Bereich KI oder Personen mit Erfahrung im „Jailbreaken“ von Sprachmodellen können sich über einen Antrag auf Einladung anmelden. Anthropic plant, ausgewählte Teilnehmende später in diesem Jahr zu kontaktieren. Dieser eingeschränkte Zugang in der ersten Phase wird dem Unternehmen ermöglichen, die Prozesse zu optimieren und zeitnahes Feedback zu den eingereichten Erkenntnissen zu geben. Nach dieser Pilotphase plant Anthropic, den Zugang zum Programm auszuweiten. Die Teilnehmenden des Programms versuchen, Schwachstellen oder Umgehungsmöglichkeiten – gemeinhin als „Jailbreaks“ bezeichnet – in den Sicherheitsfunktionen des Modells aufzudecken. Erfolgreiche Meldungen können mit finanziellen Prämien belohnt werden, insbesondere wenn sie bedeutende Schwachstellen oder universelle Jailbreak-Strategien aufdecken, also Techniken, die den Schutz in verschiedenen Szenarien konsequent umgehen. Neben dem formellen Prämienprogramm fordert Anthropic dazu auf, alle Bedenken hinsichtlich der Modellsicherheit fortlaufend über seine Kanäle zur verantwortungsvollen Offenlegung ([email protected]) zu melden.
Ein wichtiger Bestandteil des Sicherheitsökosystems von Anthropic sind auch die sogenannten Constitutional Classifiers (konstitutionellen Klassifikatoren). Diese Klassifikatoren stellen einen zentralen Bestandteil des Abwehrsystems des Unternehmens gegen schädliche Ausgaben dar, beispielsweise gegen Themen im Zusammenhang mit CBRN (chemisch, biologisch, radiologisch, nuklear). Anfang dieses Jahres veranstaltete Anthropic einen öffentlichen Aufruf zum „Red Teaming“, der sich auf das Jailbreaken dieser konstitutionellen Klassifikatoren konzentrierte. Dieser Aufruf bot beträchtliche Prämien (10.000–20.000 Dollar) und zeigte sowohl Stärken als auch verbesserungsbedürftige Bereiche in ihrem System von Schutzbarrieren auf. Anthropic unterhält Verfahren zur schnellen Reaktion auf neu entdeckte Jailbreaks, einschließlich der Behebung von Schwachstellen und der Weiterleitung komplexer Fälle zur menschlichen Prüfung. Erkenntnisse aus solchen gemeinschaftlich durchgeführten Tests fließen direkt in Verbesserungen der Modellsicherheit ein. Dieser proaktive Ansatz spiegelt das Engagement von Anthropic für Transparenz und die kontinuierliche Verbesserung der KI-Sicherheit wider, indem externes Fachwissen gemeinsam mit der Entwicklung interner Schutzmechanismen genutzt wird.
Das Bug-Bounty-Programm stellt einen weiteren Schritt im umfassenden Ansatz von Anthropic zur Gewährleistung der KI-Sicherheit dar und ist Teil größerer Bemühungen, eine breitere Forschergemeinschaft in den Prozess der Identifizierung und Minderung potenzieller Risiken im Zusammenhang mit fortgeschrittenen KI-Systemen einzubeziehen.
