Anthropic gewährt sechs Forschern der gemeinnützigen Organisation METR Zugang auf Mitarbeiterebene, damit sie seine KI-Modelle, Sicherheitspraktiken und das Risikomanagement unabhängig bewerten können. Die Vereinbarung erlaubt ihnen, eigene Bewertungen zu Risiken, Vorfällen und Unternehmenspraktiken zu veröffentlichen, ohne dass Anthropic die Veröffentlichung blockieren kann.
Interne Werkzeuge und Informationsaustausch mit Mitarbeitern
Das METR-Team verfügt über Firmenlaptops von Anthropic und Büroräume. Sein Zugang zu internen Werkzeugen ist ungefähr mit dem der unternehmenseigenen Teams für Risikobewertung vergleichbar.
Zur Zusammenarbeit gehört auch der Austausch interner Informationen. Anthropic erklärt, seine Mitarbeiter dazu anzuhalten, Informationen mit den METR-Forschern ebenso zu teilen wie mit einem Kollegen, der untersucht, ob das Verhalten von KI von menschlichen Absichten abweicht.
Veröffentlichung ohne Veto, mit klar begrenzten Schwärzungen
METR wird eigene Bewertungen zu Risiken, Vorfällen und Praktiken von Anthropic veröffentlichen. Das Unternehmen hat auf das Recht verzichtet, deren Veröffentlichung zu verhindern, behält sich aber vor, die Entfernung von Informationen aus eng definierten Kategorien zu verlangen.
Dazu zählen laut Anthropic etwa Kundendaten, Informationen, die der anwaltlichen Vertraulichkeit unterliegen, sowie Angaben zu den Architekturen seiner Modelle. METR darf die verlangten Schwärzungen öffentlich beschreiben und sich dazu äußern, ob es sie für gerechtfertigt hält, dabei jedoch die entfernten Informationen selbst nicht offenlegen.
METR ist bislang der einzige Prüfer auf der höchsten Stufe
Anthropic baut ein dreistufiges System für externe Bewertungen auf. METR ist bislang die einzige Organisation auf der höchsten Stufe, auf der zusätzlich Zugang auf Mitarbeiterebene gewährt wird. Auf der mittleren Stufe erhalten Prüfer mehr Informationen und dürfen ohne vorherige Genehmigung des Unternehmens veröffentlichen.
Auf der untersten Stufe arbeitet beispielsweise SecureBio, eine gemeinnützige Organisation für biologische Sicherheit. Prüfer auf dieser Stufe führen eng umrissene Bewertungen durch und benötigen für deren Veröffentlichung die Zustimmung von Anthropic.
Umsetzung von Amodeis Vorschlag für externe Prüfer
Die neue Vereinbarung setzt einen Vorschlag um, den Anthropic-Chef Dario Amodei in einem Essay im September vorgelegt hatte. Darin schlug er vor, externe Prüfer direkt in KI-Labore einzubinden – als ersten Schritt, um die Entwicklung der Technologie zu verlangsamen.
