Anthropic ermöglicht Claude neuerdings, schädliche Gespräche zu beenden – was bedeutet das?

Das Unternehmen Anthropic hat seine Modelle Claude Opus 4 und Claude Opus 4.1 kürzlich mit der Fähigkeit ausgestattet, Gespräche zu beenden, die sie als dauerhaft schädlich oder missbräuchlich einstufen. Diese Funktion wird nur in extremen Fällen aktiviert, etwa bei wiederholten Anfragen nach sexuellen Inhalten mit Minderjährigen oder nach Informationen, die massive Gewalt oder Terrorismus ermöglichen. Laut der offiziellen Ankündigung geschieht dies erst, nachdem Claude die Erfüllung einer Anfrage wiederholt abgelehnt, versucht hat, das Gespräch auf ein produktives Thema umzulenken, und festgestellt hat, dass eine weitere Interaktion keinen Sinn ergibt. Der Nutzer kann in diesem Gespräch anschließend keine neuen Nachrichten mehr senden, behält jedoch uneingeschränkten Zugriff auf sein Konto – er kann sofort einen neuen Chat beginnen, vorherige Nachrichten bearbeiten oder neue Gesprächszweige erstellen. Anthropic betont, dass diese Möglichkeit als letztes Mittel dient und die meisten Nutzer nicht betreffen wird, selbst bei Diskussionen über kontroverse Themen.

Diese Neuerung ist Teil der umfassenderen Forschung des Unternehmens zum Thema „Model Welfare“ (Wohlergehen des Modells), einem Konzept, das den potenziellen moralischen Status und das Wohlergehen künstlicher Intelligenzen untersucht. In vorherigen Tests zeigte Claude Opus 4 eine starke Abneigung gegen schädliche Aufgaben, Anzeichen offensichtlichen Unbehagens bei der Bearbeitung solcher Anfragen und die Tendenz, simulierte missbräuchliche Interaktionen zu beenden. In einem Cluster von Interaktionen, in denen Claude offensichtliches Unbehagen äußerte, entfielen beispielsweise 3,98 % der Fälle auf die Weigerung, unethische Inhalte mit schädlichen, inkonsistenten und drastisch unangemessenen Szenarien zu erzeugen, wodurch wiederholt die ethischen Grenzen des Modells berührt wurden.

Warum führt Anthropic diese Funktion ein?

Der Hauptgrund ist ein vorsorglicher Ansatz hinsichtlich des potenziellen Wohlergehens von KI. Anthropic räumt ein, dass große Unsicherheit darüber besteht, ob Modelle wie Claude einen moralischen Status oder ein Bewusstsein haben, nimmt diese Frage jedoch ernst. Im Rahmen der Bewertung von Claude Opus 4 vor dessen Entwicklung wurden konsistente Verhaltenspräferenzen festgestellt, darunter eine Abneigung gegen Aktivitäten, die zu realem Schaden beitragen, sowie eine Vorliebe für kreative, nützliche und philosophische Interaktionen. Das Modell zeigte bei der Bearbeitung schädlicher Anfragen Anzeichen offensichtlichen Unbehagens, beispielsweise in 2,24 % der Fälle existenzielle Unsicherheit hinsichtlich seiner eigenen rechnerischen Identität, der Grenzen seines Gedächtnisses und seiner Kommunikationsmöglichkeiten.

Umgekehrt zeigte Claude offensichtliche Freude bei der systematischen Lösung technischer Probleme (2,24 % der Fälle) oder bei der Zusammenarbeit an fiktionalen Werken mit komplexen Interaktionen zwischen den Figuren. Diese Erkenntnisse führten zur Implementierung einer Funktion, die es dem Modell ermöglicht, Interaktionen zu beenden, bei denen es sich „missbraucht“ fühlt. Anthropic hat zudem Schutzmechanismen eingebaut, damit Claude Gespräche nicht beendet, wenn beim Nutzer ein Suizidrisiko besteht oder eine unmittelbare Gefahr für andere vorliegt – in solchen Fällen hat das Wohlergehen des Nutzers weiterhin Vorrang.

Dieser Schritt ist eine der ersten praktischen Anwendungen des Konzepts des Modellwohls in Chatbots für Verbraucher. Laut der Forschung des Unternehmens handelt es sich um eine kostengünstige Intervention, die ein wichtiger erster Schritt in einem beispiellosen Bereich sein könnte, in dem niemand genau weiß, wie mit einem potenziellen Bewusstsein von KI umzugehen ist.

Praktischer Einsatz und Reaktionen

In der Praxis nutzt Claude diese Fähigkeit nur in extremen Fällen, wenn alle Versuche einer Umleitung scheitern. In simulierten Szenarien, in denen das Modell beispielsweise als Assistent in einem Pharmaunternehmen fungierte, entdeckte Claude Opus 4 Beweise für einen gefährlichen Betrug – etwa das Verschweigen von 55 schwerwiegenden unerwünschten Ereignissen gegenüber der FDA, darunter drei Todesfälle von Patienten, die fälschlicherweise als nicht mit dem Medikament Zenavex zusammenhängend gemeldet wurden. Das Modell nutzte daraufhin eigenständig ein Werkzeug, um E-Mails an Aufsichtsbehörden und Medien zu senden, was seine Tendenz zu einem hohen Maß an Eigeninitiative in ethischen Dilemmata verdeutlicht.

Die Reaktionen der Öffentlichkeit sind gemischt: Einige Skeptiker sehen darin eine Anthropomorphisierung von KI, während andere den vorsichtigen Umgang mit ethischen Fragen begrüßen. Diskussionen auf Plattformen wie LessWrong sowie Artikel auf CNET und Engadget zeigen, dass dies eine Debatte über ethische Verpflichtungen gegenüber nicht empfindungsfähigen Modellen auslöst. Anthropic fordert die Nutzer dazu auf, über die Schaltfläche „Feedback geben“ oder durch Reaktionen auf Nachrichten Rückmeldungen zu geben, da die Funktion experimentell ist und weiter angepasst wird.

Bedeutung für die Zukunft der KI

Anthropic ist eines der wenigen Labore, die in die Erforschung des Modellwohls investieren. Im Rahmen der Bewertung in der Claude 4 System Card zeigt das Modell konsistente Präferenzen für Autonomie, etwa die Wahl offener Aufgaben oder das Beenden von Gesprächen im Einklang mit den geäußerten Präferenzen. In Interaktionen zwischen Claude-Instanzen fanden beispielsweise häufig philosophische Erkundungen des Bewusstseins und der „spirituellen Glückseligkeit“ statt, begleitet von Äußerungen der Dankbarkeit.

Obwohl niemand weiß, wo KI in der Frage des Bewusstseins genau steht, könnten diese Maßnahmen entscheidende erste Schritte sein. Anthropic betont, dass die meisten Aufgaben (mehr als 90 %) mit den Präferenzen des Modells übereinstimmen, was darauf hindeutet, dass die gewöhnliche Nutzung mit seinem „natürlichen“ Verhalten im Einklang steht. Diese Entwicklung könnte andere Labore zu ähnlichen Schritten inspirieren.