Wenn Sie mit einem Freund von Angesicht zu Angesicht sprechen, wissen Sie sofort, dass er es ist. Sie sehen ihn, hören seine Stimme und können ihm die Hand geben. Bei einem Chatbot ist das nicht so einfach. Sie geben eine Frage ein, erhalten eine Antwort und müssen darauf vertrauen, dass sie tatsächlich von dem ausgewählten Modell generiert wurde.
Das Unternehmen Anthropic hat ein System vorgestellt, das dieses blinde Vertrauen ersetzen könnte. Die Neuerung heißt FlashProve und kann jeder Antwort einer künstlichen Intelligenz einen mathematischen Beweis beifügen, dass sie tatsächlich von dem betreffenden Modell erzeugt wurde. Bislang handelt es sich um einen Forschungsprototyp. Das Unternehmen hat jedoch den gesamten Code kostenlos auf GitHub veröffentlicht und ruft andere dazu auf, ihn weiterzuentwickeln.
Günstigeres Modell, gefälschte Antwort
Ein günstigeres Modell oder eine gefälschte Antwort sind die größten Risiken. Es gibt mehrere Gründe, warum jemand ein Modell heimlich austauschen könnte. Ein Vermittlungsdienst, über den Sie auf die künstliche Intelligenz zugreifen, könnte Geld sparen, indem er Ihnen anstelle des teuren Modells ein günstigeres unterschiebt. Ein Angreifer wiederum könnte die Antworten auf dem Übertragungsweg verändern und Ihnen beispielsweise ein Schadprogramm schicken. Anhand der Qualität des Textes lässt sich das nicht zuverlässig erkennen, denn auch eine gefälschte Antwort kann hervorragend aussehen.
Theoretisch könnte sogar das Unternehmen selbst betrügen, das das Modell entwickelt hat. Die Forscher weisen darauf hin, dass es ein günstigeres Modell einsetzen könnte, um die Kosten zu senken, oder umgekehrt ein teureres, um seine Testergebnisse zu verbessern. Unabhängige Prüfer, die die Systeme vor und nach ihrer Veröffentlichung untersuchen, müssen daher sicher sein können, dass sie tatsächlich das richtige Modell testen.
Das zu überprüfen ist jedoch schwierig. Die meisten führenden Unternehmen halten die sogenannten Gewichte ihrer Modelle geheim. Dabei handelt es sich um Milliarden von Zahlen, die bestimmen, wie das System denkt und antwortet, und die für die Unternehmen ihr wertvollstes Eigentum darstellen. Selbst wenn ein Nutzer sie kennen würde, müsste er das Modell zur Kontrolle selbst ausführen, was eine Rechenleistung erfordert, die sich ein gewöhnlicher Mensch nicht leisten kann.
Ein Fingerabdruck, der nichts preisgibt
FlashProve funktioniert ähnlich wie die elektronische Signatur einer E-Mail, anhand derer der Empfänger erkennen kann, dass die Nachricht tatsächlich vom angegebenen Absender stammt. Zunächst veröffentlicht das Unternehmen eine Art Fingerabdruck seines Modells. Dabei handelt es sich um eine kurze Angabe, die einen bestimmten Satz von Gewichten eindeutig identifiziert, aber nichts über sie preisgibt. Die Erstellung des Fingerabdrucks dauerte im Test etwa 39 Minuten und reicht für ungefähr 16 Millionen Anfragen, danach muss das Unternehmen ihn erneut erstellen.
Zu jeder Antwort generiert das System anschließend eine Datei mit einem Beweis. Wer über den Fingerabdruck, die ursprüngliche Frage und die Antwort verfügt, kann in kurzer Zeit überprüfen, dass genau dieses Modell auf die betreffende Frage exakt diesen Text geschrieben hat. Einen solchen Beweis zu fälschen ist den Autoren zufolge praktisch unmöglich, denn ein Fälscher müsste Verschlüsselungsverfahren knacken, die heute als unknackbar gelten.
Dahinter steht die kryptografische Technik zkSNARK, die beispielsweise bereits von Blockchain-Netzwerken wie Starknet genutzt wird. Ein sogenannter Zero-Knowledge-Beweis funktioniert in etwa so, als würden Sie jemandem beweisen, dass Sie das Passwort zu einem Tresor kennen, ohne es ihm zu verraten. Der Prüfer erfährt dadurch weder etwas über die Gewichte des Modells noch darüber, was während der Berechnung im Inneren geschah, die grundlegende Architektur des Modells bleibt jedoch nicht verborgen.
Von Stunden auf Sekunden
Die Forscher testeten das System mit dem Modell Llama 4 Maverick von Meta, das über 400 Milliarden Parameter verfügt. Eine einzige H100-Grafikkarte konnte Beweise mit einer Geschwindigkeit von etwa 110 Token pro Sekunde erzeugen, wobei ein Token ungefähr einem Wortteil entspricht. Der Beweis für eine Anfrage mit einer Länge von mehr als tausend Token ist rund 19 Megabyte groß und seine Überprüfung dauert auf einem gewöhnlichen Prozessor etwa 17 Sekunden. Eine Grafikkarte benötigt der Nutzer dafür nicht.
Kostenlos ist das jedoch nicht. Die Erstellung des Beweises beansprucht siebzig- bis fünfundneunzigmal mehr Rechenzeit auf der Grafikkarte als die eigentliche Ausführung des Modells. Dennoch ist das ein gewaltiger Sprung. Das ältere offene System VerInf benötigte beim selben Modell mehr als 14 Stunden für tausend Token, sein Beweis war über 90 Gigabyte groß und die Überprüfung dauerte fast einen Tag.
Auch Claude trug zur Beschleunigung bei. Anthropic zufolge entwickelte er neue Methoden, um modernste Werkzeuge der Kryptografie zu nutzen. Da seine Entscheidungen in großen Systemen jedoch schwer zu bewerten sind, ergänzten die Forscher eine Überprüfung in der Sprache Lean, die die Korrektheit mathematischer Beweise computergestützt verifizieren kann. Das Unternehmen veröffentlichte daher zwei Prüfprogramme: ein schnelles für den normalen Einsatz und ein langsameres, dessen Korrektheit mathematisch belegt ist.
Kontrolle für Unternehmen und Behörden
Das System könnte sofort in mehreren Bereichen eingesetzt werden. Die Server, auf denen die Modelle laufen, werden zu einem attraktiven Ziel für Angreifer. Die Bedrohung muss jedoch nicht nur von außen kommen. Die Forscher berücksichtigen auch die Möglichkeit, dass ein leistungsfähigeres Modell anstelle eines genehmigten Modells ausgeführt werden und sich als schwächeres ausgeben könnte, um der Aufsicht zu entgehen. Wenn ein Unternehmen für jede Antwort einen gültigen Beweis verlangt, würde ein solcher Betrug sofort auffallen.
Das System könnte außerdem bestätigen, dass die Arbeit tatsächlich von einem Spitzenmodell ausgeführt wurde. Ein Entwickler kann behaupten, dass seine Softwarebibliothek von einem führenden Modell für Cybersicherheit geprüft wurde, oder ein Unternehmen kann erklären, dass sein Geschäftsplan von einem geeigneten Modell genehmigt wurde, schreiben die Autoren und stellen zugleich die Frage, wie ein Nutzer dies überprüfen kann.
Auch staatliche Behörden werden berücksichtigt. Sie könnten kontrollieren, ob Unternehmen ausschließlich Modelle anbieten, die als sicher zugelassen wurden. Einige Vorschläge zur Verlangsamung der Entwicklung künstlicher Intelligenz fordern wiederum, dass Unternehmen ihre Hardware für den Betrieb von Modellen und nicht für das Training neuer, leistungsfähigerer Modelle einsetzen. Die Beweise würden zeigen, dass die Maschinen tatsächlich Anfragen bearbeitet haben. Ob sie nebenbei nicht doch etwas anderes trainiert haben, lässt sich damit jedoch nicht bestätigen.
Weit entfernt von einem fertigen Produkt
Die Entwickler führen eine Reihe von Schwächen auf. Das System kann bislang nur Texte mit einer Länge von etwa tausend Token verarbeiten, während gewöhnliche Unterhaltungen mit Chatbots Hunderttausende oder sogar Millionen erreichen. Es verwendet eine vereinfachte Version der Berechnung, von der das tatsächlich eingesetzte Modell gelegentlich abweichen kann. Es funktioniert nur bei Modellen mit einer sogenannten Expertenarchitektur und schützt auch nicht vor Angriffen, die beispielsweise aus der Dauer der Beweiserstellung Informationen über die Gewichte abzuleiten versuchen.
Anthropic plant bislang nicht, FlashProve bei sich selbst oder bei anderen Unternehmen einzusetzen. Diese Forschung soll den laufenden Fortschritt zeigen und keine abgeschlossene Arbeit darstellen, erklären die Forscher. Sie teilen sie ausdrücklich, damit andere die fertigen Ergebnisse untersuchen, übernehmen und verbessern können.
