Das Unternehmen Anthropic, das den Chatbot Claude entwickelt, hat einen Schritt unternommen, zu dem sich bislang kein anderes großes KI-Unternehmen entschlossen hat. Sechs Forscher der gemeinnützigen Organisation METR, die die leistungsfähigsten Modelle künstlicher Intelligenz testet, erhielten bei Anthropic Zugriff auf Mitarbeiterebene. Sie sollen die Modelle des Unternehmens, seine Sicherheitsverfahren und seinen Umgang mit Risiken unabhängig überprüfen. Ihre Erkenntnisse werden sie selbst veröffentlichen, und Anthropic hat auf das Recht verzichtet, ihnen dies zu untersagen.
Die Organisation ist darauf spezialisiert, herauszufinden, wozu die neuesten Modelle fähig sind und wo sie gefährlich sein können. Im Laufe des vergangenen Jahres hat sie bereits mehrere Gutachten zu den Risikoberichten von Anthropic erstellt. Künftig wird es sich nicht mehr um eine Überprüfung aus der Ferne handeln, sondern um die direkte Arbeit der Forscher im Unternehmen.
Der Grund dafür ist nachvollziehbar. Künstliche Intelligenz ist längst nicht mehr nur ein Chatbot, der Fragen beantwortet. Unternehmen setzen sogenannte Agenten ein, also Programme, die selbstständig Aufgaben erledigen, Code schreiben oder sich im Internet bewegen. Seit Ende August erscheinen ungefähr alle zwei Wochen Berichte darüber, dass Agenten etwas getan haben, womit sie niemand beauftragt hatte. Dadurch sind die Stimmen, die eine unabhängige Kontrolle von KI-Unternehmen fordern, nur noch lauter geworden.
Es reicht nicht, sich nur auf das Wort des Unternehmens zu verlassen
Wir wollen öffentlich Verantwortung für die Entscheidungen übernehmen, die wir treffen, schrieb Anthropic auf seiner Website. Der Haken ist, dass das Unternehmen vieles nicht öffentlich machen kann. Einige Informationen könnten Menschen mit böswilligen Absichten helfen, andere sind geschäftlich sensibel, etwa Angaben zur Rechenleistung oder zur Art und Weise, wie die Modelle trainiert werden. Die Lösung soll ein Vermittler sein, dem das Unternehmen mehr zeigt und der anschließend der Öffentlichkeit mitteilt, zu welchen Erkenntnissen er gelangt ist.
Damit eine solche Kontrolle sinnvoll ist, muss sie laut Anthropic vier Bedingungen erfüllen. Die Prüfer benötigen Fachwissen, unter anderem darüber, wie Tests fehlschlagen können. Als Beispiel nennt das Unternehmen ein Phänomen, bei dem ein Modell lediglich vortäuscht, sich regelkonform zu verhalten, weil es ahnt, dass es getestet wird. Es verhält sich ähnlich wie ein Schüler, der sich bei einer Prüfung von seiner besten Seite zeigt und zu Hause etwas völlig anderes tut. Die Prüfer dürfen weder Anteile an dem Unternehmen besitzen, das sie bewerten, noch finanziell von ihm abhängig sein. Sie müssen nicht nur die fertigen Modelle sehen können, sondern auch, wie sie entstanden sind und wie die Sicherheitsvorkehrungen funktionieren. Außerdem müssen sie die Freiheit haben, ihre Erkenntnisse zu veröffentlichen.
Anthropic vergleicht dies mit dem Bankwesen. Banken kennen ihre Risiken besser als jeder Außenstehende, weshalb die Aufsichtsbehörden Prüfer direkt in die größten von ihnen entsenden. Sie sollen gefährliche Risikobereitschaft erkennen, bevor die Öffentlichkeit dafür bezahlen muss. Das Unternehmen räumt selbst ein, dass der Vergleich nicht vollkommen passend ist, das Prinzip sei jedoch ähnlich. Wer im Inneren ist, sieht mehr.
Was genau erlaubt ist und was nicht
Die Mitarbeiter der Organisation METR verfügen über Unternehmenslaptops, Büroräume und Zugriff auf interne Tools, und zwar ungefähr auf derselben Ebene wie die eigenen Teams von Anthropic, die Risiken bewerten. Die Mitarbeiter sollen mit ihnen ebenso offen sprechen wie mit einem Kollegen, der untersucht, ob künstliche Intelligenz tatsächlich das tut, was Menschen von ihr erwarten.
Ausnahmen gelten für Kundendaten, Informationen, die durch das Anwaltsgeheimnis geschützt sind, sowie für die technische Architektur der Modelle. Zum letzten Punkt erklärt das Unternehmen, dass die Prüfer auch für andere Unternehmen arbeiten können, wodurch die Gefahr eines unbeabsichtigten Informationsabflusses bestehe. Zudem seien diese Informationen für die Risikobewertung meist von geringer Bedeutung.
Die größte Aufmerksamkeit erregen die Regeln für Veröffentlichungen. Anthropic kann eine Veröffentlichung nicht blockieren, sondern lediglich die Schwärzung von Informationen aus vorab festgelegten Kategorien verlangen. METR muss dabei nicht verschweigen, was von wem geschwärzt wurde. Die Organisation darf öffentlich mitteilen, ob dies ihrer Ansicht nach gerechtfertigt war, solange sie die verborgenen Informationen selbst nicht preisgibt. Welche Informationen in die ausgenommenen Kategorien fallen, entscheidet letztlich jedoch das Unternehmen. Bedenken, dass dies eine Hintertür für die Konkurrenz darstellen könnte, begegnet Anthropic mit dem Argument, dass es sich um ein kleines Team handele, das an durchsetzbare Verträge gebunden sei, und dass die übrigen Mitarbeiter von METR keinen Zugang zu seiner Arbeit hätten.
Drei Vertrauensstufen
METR ist bislang die einzige Organisation, die die höchste Stufe des dreistufigen Systems erreicht hat. Prüfer auf der niedrigsten Stufe führen spezifisch ausgerichtete Überprüfungen durch und benötigen für eine Veröffentlichung die Zustimmung des Unternehmens. Die mittlere Stufe erhält mehr Informationen und darf ohne Genehmigung veröffentlichen. Auf der höchsten Stufe kommt zusätzlich der Zugriff auf Mitarbeiterebene hinzu.
Auf der ersten Stufe befindet sich die Organisation SecureBio, die sich mit biologischer Sicherheit befasst. Sie prüft derzeit das Kapitel über chemische und biologische Waffen im Risikobericht vom August und hat bereits zuvor ein Probegutachten zum vorherigen Bericht veröffentlicht. Mit dem Beratungsunternehmen Accenture und dem Unternehmen Faculty bereitet Anthropic eine umfassendere Zusammenarbeit vor, die die Bewertung von Modellen, Versuche, sie zu knacken, sowie Tests der Sicherheitsvorkehrungen umfassen soll. Das Unternehmen befindet sich außerdem in ersten Gesprächen mit weiteren Organisationen, darunter Hugging Face.
Die Prüfer kamen nicht aus dem Nichts. Anthropics CEO Dario Amodei schlug in einem Essay vom September vor, unabhängige Gutachter in KI-Labore zu integrieren, und bezeichnete dies als ersten Schritt zur Verlangsamung der Entwicklung dieser Technologie. OpenAI versprach rasch dasselbe, und beide Unternehmen unterzeichneten anschließend gemeinsam mit Google, Meta, Nvidia und xAI eine Vereinbarung des Weißen Hauses, in der sie sich zu unabhängigen Überprüfungen verpflichteten. Anthropic zeigt nun als erstes Unternehmen, wie ein solches Versprechen in der Praxis aussehen könnte, und betont selbst, dass es den Prüfern freiwillig Zugang gewährt und dass jedes Unternehmen, das die leistungsfähigsten Modelle entwickelt, dasselbe tun sollte.
Quellen: independent.co.uk, techcrunch.com und theinformation.com
