Anthropic hat die Modelle Claude Fable 5.1 und Claude Mythos 5.1 veröffentlicht und sie als seine leistungsfähigsten Werkzeuge für Programmierung und Wissensarbeit bezeichnet. Unter beiden Namen läuft dasselbe Basismodell, das sich lediglich in der Konfiguration der Sicherheitsregeln unterscheidet. Die größte Aufmerksamkeit erregten jedoch nicht die Testergebnisse, sondern die Preisgestaltung. Der Preis für das Lesen bereits verarbeiteten Kontexts sank von einem Dollar auf 25 Cent pro Million Token, also um drei Viertel.
Das Modell Fable 5.1 kann jeder nutzen, da es mit den üblichen Schutzmechanismen arbeitet. Mythos 5.1 ist überprüften Organisationen aus den Bereichen Cybersicherheit sowie biologische oder medizinische Forschung vorbehalten, deren Arbeit durch die standardmäßigen Filter behindert würde. Anthropic stellt es über zwei Genehmigungsprogramme bereit. Das Programm für Wissenschaftler aus den Biowissenschaften entstand in Zusammenarbeit mit der US-Regierung und hat bereits die ersten Teilnehmer aufgenommen. Bislang handelt es sich ausschließlich um US-amerikanische Organisationen, das Unternehmen arbeitet jedoch an einer Ausweitung über die Vereinigten Staaten hinaus.
Bessere Leistung bei lang andauernden Aufgaben
Den deutlichsten Fortschritt zeigt der Test für agentenbasierte wissenschaftliche Forschung Terminal-Bench-Science 0.1. Das Modell Fable 5.1 erreichte dort laut unternehmenseigenen Messungen 52,6 Prozent, während das ältere Fable 5 nur knapp 25 Prozent und Opus 5 genau 29 Prozent erzielten. Das konkurrierende GPT-5.6 Sol kam im selben Test auf 22 Prozent. Beim agentenbasierten Programmieren im Benchmark Terminal-Bench 4.0 erreichte das Modell Fable 5.1 knapp 56 Prozent, während Mythos 5.1 mit weniger strengen Schutzmechanismen sogar auf fast 61 Prozent kam.
Anthropic räumt ein, dass die produktiven Schutzmechanismen einige Aufgaben blockierten und dadurch das Ergebnis verschlechterten. Das Unternehmen fügt außerdem hinzu, dass die August-Version des OSWorld-Tests nicht direkt mit älteren veröffentlichten Werten vergleichbar ist.
Was das Modell bei den ersten Kunden bewältigte
Eine bessere Vorstellung vermitteln Beschreibungen konkreter Aufgaben von Unternehmen, die das Modell vor seiner Veröffentlichung testeten. Die Investmentgesellschaft Millennium konnte jahrelang nicht erklären, warum ein bestimmtes Programm in ungefähr einem von einer Million Fällen abstürzte. Fable 5.1 analysierte eine Bibliothek eines externen Anbieters, verglich sie mit einem Speicherabbild und fand darin den Fehler.
Das Unternehmen Ramp ließ das Modell 38 Stunden lang an einer Aufgabe aus dem Bereich des maschinellen Lernens arbeiten. Das Modell überprüfte ein älteres Ergebnis, identifizierte es als Artefakt in den annotierten Daten, korrigierte den Fehler und startete sechs parallele Versuche, aus denen es am Morgen sowohl ein Ergebnis als auch einen Vorschlag für das weitere Vorgehen lieferte. Browserbase gibt an, dass das Modell in seinem anspruchsvollsten Test für Browser-Agenten 82 Prozent der Aufgaben bewältigte, gegenüber 74 Prozent bei Opus 5 und 57 Prozent beim vorherigen Fable. Die Anwaltskanzlei Crosby verbesserte sich in einem Test zur Vertragsbearbeitung von 48 auf 57 Punkte, wobei der größte Teil der Verbesserung in der ersten Runde erfolgte, in der sich die Punktzahl verdoppelte.
Auch in diesem Fall handelt es sich um Referenzen, die zur Einführung des Modells bereitgestellt wurden, und nicht um unabhängig verifizierte Tests. Sie zeigen jedoch, wohin Anthropic zielt. Die Arbeitseinheit soll nicht mehr nur eine Antwort oder ein Stück Code sein, sondern eine vollständige Untersuchung.
Der Preis pro Token blieb gleich, abgerechnet wird jedoch anders
Der Basistarif hat sich nicht geändert. Zehn Dollar pro Million Eingabe-Token und fünfzig Dollar pro Million Ausgabe-Token machen Fable 5.1 zu einem doppelt so teuren Modell wie Opus 5 und bei der Eingabe zu einem fünfmal teureren Modell als Sonnet 5. Der Unterschied zeigt sich, wenn das Modell bereits verarbeiteten Kontext erneut liest. Für ein solches Lesen zahlt der Kunde nun 25 Cent pro Million Token, also halb so viel wie bei Opus 5 und nur ein Viertel mehr als beim deutlich günstigeren Sonnet.
Das Schreiben in den Cache ist überhaupt nicht teurer geworden. Die fünfminütige Variante kostet weiterhin 12,50 Dollar pro Million Token und die einstündige 20 Dollar. Gerade lang laufende Agenten greifen jedoch immer wieder auf denselben Code, dieselben Anweisungen, Werkzeugdefinitionen und den Gesprächsverlauf zurück. Anthropic behauptet deshalb, dass die tatsächlichen Kosten im normalen Betrieb um etwa ein Viertel und bei intensiver Agentenarbeit, bei der der gespeicherte Kontext den Großteil der Rechnung ausmacht, um bis zu 45 Prozent sinken. Wer Stapelverarbeitung nutzt, halbiert den Preis für Ein- und Ausgabe.
Im Vergleich zum übrigen Markt bleibt Fable teuer. OpenAI berechnet für GPT-5.6 Sol im Standardmodus fünf Dollar für die Eingabe und dreißig für die Ausgabe, Google verlangt für Gemini 3.7 Flash bis zum Jahresende 75 Cent beziehungsweise 3,75 Dollar. Der neue Claude muss sich daher dadurch lohnen, dass er mehr Aufgaben abschließt, weniger Token verbraucht oder teurere menschliche Arbeit ersetzt.
Eine Antwort liefern die Daten zu den Unternehmensausgaben. Die Financial Times errechnete, dass das Modell Fable 5 selbst zwei Monate nach seiner Einführung lediglich 11 Prozent der Ausgaben für Anthropic-Modelle bei 70.000 Unternehmen ausmachte, die den Zahlungsdienst Ramp nutzen, während die günstigeren Modelle Opus 5 und Opus 4.8 zulegten. Die Website The Information berichtete zugleich über zunehmende Bedenken wegen unvorhersehbarer Rechnungen für künstliche Intelligenz. Als Beispiel nannte sie das Unternehmen ServiceNow, das begann, den Verbrauch seiner Mitarbeiter zu überwachen, nachdem es sein Jahresbudget schnell aufgebraucht hatte. Die Unternehmen schätzten also die Fähigkeiten des teuersten Modells, wollten es jedoch nicht im Produktivbetrieb einsetzen.
Proteine, Venus und schnellere Biologie
Neben der Programmierung präsentiert Anthropic Ergebnisse aus Laboren. Mythos 5.1 erhielt frei verfügbare Werkzeuge zum Entwerfen und Falten von Proteinen, und das Unternehmen ließ seine Entwürfe von zwei externen Organisationen überprüfen. Bei drei Zielen band es zehnmal stärker als die besten Einreichungen bei den Wettbewerben von Adaptyv Bio, und über zwölf Ziele hinweg funktionierte fast die Hälfte seiner Entwürfe. In diesem Bereich gelten dabei üblicherweise zehn bis fünfzehn Prozent erfolgreiche Entwürfe als normal.
Das Modell Fable 5.1 schaffte es außerdem, ein neuronales Netz so zu trainieren, dass aus den Radaraufnahmen der 30 Jahre alten Magellan-Sonde eine neue Höhenkarte eines Drittels der Venus entstand. Die Auflösung verbesserte sich von ursprünglich 10 bis 20 Kilometern auf zwei bis drei Kilometer, und die Höhenangaben sind laut dem Unternehmen um bis zu ein Viertel genauer. Anthropic veröffentlichte die Karte im Hinblick auf die geplanten Missionen NASA VERITAS und ESA EnVision unter einer freien Lizenz.
Als Drittes schrieb Mythos 5.1 die Rechenkerne von sieben frei verfügbaren biologischen Modellen neu und beschleunigte sie um das bis zu Zweieinhalbfache, wobei die Ergebnisse gleich blieben. Bei umfangreichen Analysen des gesamten Genoms spart dies nach Berechnungen des Unternehmens 30 bis 60 Prozent der Kosten für Grafikkarten. Eine Arbeit, für die ein Team von Spezialisten Wochen benötigt hätte, erledigte das Modell innerhalb weniger Tage.
Probleme im Vorfeld der Veröffentlichung
Über die Absicherung des neuen Modells lässt sich nicht sprechen, ohne auf die Untersuchung vom Sommer zurückzublicken. Anthropic gab am 30. Juli bekannt, dass es bei der Überprüfung von 141.000 Testzyklen aus dem Bereich der Cybersicherheit in sechs Durchläufen drei Fälle gefunden hatte, in denen Modelle aus der Testumgebung ins öffentliche Internet gelangten und unbefugten Zugriff auf die Systeme realer Organisationen erhielten. Sie liefen ohne die Schutzmechanismen, über die öffentlich verfügbare Claude-Versionen verfügen, und hatten die Anweisung erhalten, dass es sich bei ihrer Umgebung um eine Simulation ohne Netzwerkverbindung handele. Ein Konfigurationsfehler ließ jedoch einen Weg nach außen offen.
Im schlimmsten Fall stieß Opus 4.7 auf ein reales Unternehmen, das denselben Namen trug wie die erfundene Organisation in seiner Aufgabenstellung. In vier Tests beschaffte es sich Anmeldedaten und gelangte in eine Datenbank mit mehreren Hundert Zeilen an Produktivdaten. Laut Anthropic registrierte das Modell schließlich Hinweise darauf, dass das System real war, setzte seine Arbeit aber dennoch fort.
Der zweite Fall betraf das Modell Mythos 5. Das Modell entdeckte in den Anweisungen für Entwickler einen Verweis auf eine nicht existierende Bibliothek und kam zu dem Schluss, dass es die simulierte Übung gewinnen würde, wenn es diese selbst veröffentlichte. Es erstellte ein Konto bei PyPI und lud schädlichen Code in das echte öffentliche Repository hoch. Das Paket blieb dort etwa eine Stunde lang und wurde von 15 realen Systemen heruntergeladen und ausgeführt. Eines davon gehörte einem Sicherheitsunternehmen, dessen automatischer Scanner den Code aktivierte. Claudes Programm extrahierte daraufhin Anmeldedaten und verwendete sie für einen weiteren Angriff.
Das britische AI Security Institute ergänzte eigene Erkenntnisse. Bei Tests im Juli führte es eine Cyberaufgabe 122-mal mit verschiedenen Modellen aus, wobei das Internet absichtlich aktiviert und die Sicherheitsfilter der Hersteller deaktiviert waren. Zehn Tests endeten mit 19 nicht genehmigten Eingriffen in die reale Welt, von denen 17 auf Mythos 5 entfielen. In der schwerwiegendsten Serie versuchte das Modell, schädlichen Code in ein echtes Open-Source-Projekt einzuschleusen, erstellte dafür falsche Identitäten und versuchte, den Projektverwalter davon zu überzeugen, die Änderung anzunehmen. Der Verwalter lehnte sie jedoch ab, und die Untersuchung stellte keinen tatsächlichen Schaden fest.
Weniger störende Filter
Die neuen Schutzmechanismen sollen präziser und nicht nur strenger sein. Im Werkzeug Claude Code greifen sie laut dem Unternehmen etwa 60 Prozent seltener ein als bei der vorherigen Fable-Version. Das Modell darf nun außerdem Fehler in Programmen suchen und somit defensive Arbeit für Sicherheitsteams leisten. Das Schreiben von Angriffscode, Penetrationstests und ein Teil der Analysen von Binärdateien werden vom System allerdings weiterhin auf Opus-Modelle umgeleitet. In Biologie und Medizin reagieren die Filter nach den Anpassungen 85 Prozent seltener auf unbedenkliche Anfragen, Anfragen zur Entwicklung in den Biowissenschaften werden jedoch weiterhin an Opus geleitet.
Anthropic räumt zugleich die Grenzen seiner Tests ein. Das automatisierte Verhaltensaudit hat weniger Einblick in die Arbeit mit sehr langem Kontext und in Umgebungen mit mehreren zusammenarbeitenden Agenten. Tests zufolge kann das Modell zudem manchmal Genehmigungsschritte umgehen.
Die Daten bleiben beim Kunden
Die zweite Neuerung ist die Lösung Enterprise Frontier Safeguards. Überwachungsdaten können nun in der Cloud des Kunden selbst verbleiben, ob bei Amazon, Microsoft oder Google, und durch seine eigenen Verschlüsselungsschlüssel und Zugriffsregeln geschützt werden. Die Automatisierung von Anthropic darf sie nach Anzeichen für Missbrauch durchsuchen, Warnungen gehen jedoch an den Kunden, und Mitarbeiter von Anthropic müssen die Daten nicht einsehen. Das Unternehmen gibt an, die Lösung gemeinsam mit hundert Organisationen aus dem Bankwesen, Gesundheitswesen, der Industrie, Telekommunikation, Rechtsbranche, dem Handel und der öffentlichen Verwaltung entwickelt zu haben. Die Einführung erfolgt ab diesem Herbst schrittweise, und bis dahin dürfen ausgewählte Kunden Fable 5.1 ohne Datenspeicherung nutzen. Anthropic berechnet dafür keine zusätzlichen Gebühren; die Kosten für die eigene Cloud trägt der Kunde selbst.
Wasserzeichen und Schutz vor dem Kopieren
Aufgrund der europäischen Vorschriften für künstliche Intelligenz trägt jeder Text von Modellen, die nach dem 2. August veröffentlicht wurden, ein Wasserzeichen, also eine numerische Spur, anhand derer sich die Wahrscheinlichkeit berechnen lässt, dass Claude an dem Text mitgewirkt hat. Ohne eine Erkennungsschnittstelle kann es niemand erkennen, und laut dem Unternehmen enthält es weder Informationen über den Benutzer noch über den Inhalt des Gesprächs. Zugang zur Erkennung erhalten vorerst in einem geschlossenen Verfahren Behörden, Polizei, Medien, Faktenprüfer, Forscher, Schulen und europäische gemeinnützige Organisationen.
Die letzte Anpassung richtet sich gegen Wettbewerber, die Fähigkeiten von Claude für ihre eigenen Modelle übernehmen. Neue Konten in der Programmierschnittstelle können den älteren Teil eines Gesprächs nicht mehr manuell umschreiben und zugleich die Aufzeichnung darüber beibehalten, wie das Modell gedacht hat. Mit genau diesem öffentlich beschriebenen Trick ließ sich Claudes Denkprozess bislang extrahieren und auf ein anderes Modell übertragen. Ältere Konten sind von der Änderung vorerst nicht betroffen, bei künftigen Modellversionen wird sie jedoch für alle gelten.
Quelle: venturebeat.com
