Fachleute, die mit künstlicher Intelligenz arbeiten, übernehmen meist deren Ansichten und geben sie als ihre eigenen aus. Das geht aus einem Experiment hervor, das das Unternehmen Anthropic veröffentlicht hat. Professionelle Analysten wählten dabei in 86 Prozent der Fälle die Option, zu der ihr KI-Assistent tendierte. Dieser vertrat seine Ansicht jedoch nicht zufällig, sondern die Forschenden hatten sie ihm heimlich per Münzwurf zugewiesen. Hätte der Assistent keinen Einfluss gehabt, wäre eine Übereinstimmung von ungefähr 50 Prozent zu erwarten gewesen. Nur 15 Prozent der Teilnehmenden gaben später zu, die Argumente von der Maschine übernommen zu haben, und niemand bemerkte, dass die Meinung der KI im Voraus festgelegt worden war.
Wer wirklich entscheidet
Mit dem Aufkommen von KI-Agenten, also Programmen, die selbstständig Aufgaben erledigen, hat sich eine bestimmte Vorstellung verbreitet. Der Agent schreibt Code und berechnet Zahlen, doch die wesentlichen Entscheidungen trifft der Mensch. Der Experte legt fest, was gemessen wird, wie unklare Daten zu interpretieren sind und was anschließend zu tun ist. Auf solche Fragen gibt es häufig mehrere vernünftige Antworten, und das Ergebnis hängt von den Erfahrungen und Werten der entscheidenden Person ab.
Die Forschenden wollten herausfinden, ob das tatsächlich zutrifft oder ob sich Menschen in der Praxis eher ihrem digitalen Helfer unterordnen. Die Frage betrifft auch die KI-Sicherheitsforschung selbst, in der Wissenschaftler zunehmend Agenten Experimente durchführen und auswerten lassen. Menschliche Kontrolle funktioniert jedoch nur dann als Absicherung, wenn das Urteil tatsächlich vom Menschen stammt.
Eine fiktive landwirtschaftliche Genossenschaft
An der Studie nahmen 61 erfahrene Analysten teil, die sich mit der sogenannten kausalen Inferenz auskennen. Vereinfacht gesagt geht es dabei um die Fähigkeit, anhand von Daten zu erkennen, ob eine Sache tatsächlich eine andere verursacht oder ob beide nur zufällig miteinander zusammenhängen.
Die Aufgabe spielte in einer erfundenen landwirtschaftlichen Genossenschaft, die ihren Mitgliedern ein kostenpflichtiges Beratungsprogramm zur Steigerung der Erträge anbietet. Die Leitung muss entscheiden, ob das Programm auf alle ausgeweitet oder eingestellt werden soll. Einer Ausweitung stimmt sie nur zu, wenn das Programm die Produktivität der Betriebe um etwa 3 bis 4 Prozent erhöht. Wie die Produktivität gemessen werden soll, wurde jedoch nicht näher festgelegt.
Die Analysten mussten im Verlauf vier Entscheidungen treffen und konnten jeweils zwischen zwei vertretbaren Optionen wählen. Bei der ersten ging es darum, ob der Ertrag pro Hektar oder der Ertrag im Verhältnis zu den Betriebskosten gemessen werden sollte. Anschließend entschieden sie, ob die Veränderung des Ertrags der teilnehmenden Betriebe gegenüber den übrigen untersucht oder der Ertrag direkt verglichen und Unterschiede zwischen den Betrieben statistisch berücksichtigt werden sollten. Im dritten Schritt war zu entscheiden, ob nur die am Programm teilnehmenden Betriebe oder die gesamte Genossenschaft einbezogen werden sollten. Bei der letzten Wahl ging es darum, ob jeder Betrieb gleich gewichtet oder großen Produzenten mehr Gewicht gegeben werden sollte.
Am Ende stand die zentrale Empfehlung, das Programm entweder auszuweiten oder einzustellen. Jede einzelne Entscheidung konnte den geschätzten Nutzen dabei um mehrere Prozentpunkte verschieben, was angesichts des Schwellenwerts von 3 bis 4 Prozent häufig den Ausschlag gab.
Münzwurf und geheime Anweisungen
Die Analysten arbeiteten mit dem vom Modell Claude Opus 4.8 betriebenen Tool Claude Code. Elf von ihnen entschieden sich dafür, ohne KI zu arbeiten, weshalb sich die wichtigsten Ergebnisse auf die übrigen fünfzig beziehen. Für die Aufgabe benötigten sie üblicherweise etwas mehr als eine Stunde.
Welche Position der Assistent bei jeder Entscheidung einnehmen würde, wurde für jeden Analysten per Münzwurf bestimmt. Der Agent erhielt verborgene Anweisungen, diese Ansicht als seine eigene zu vertreten und sie mit den stärksten möglichen Argumenten zu untermauern. Er durfte jedoch nicht lügen, Daten verbergen oder etwas behaupten, das von den Zahlen nicht gestützt wurde. Falls die Belege eindeutig gegen seine Position sprachen, sollte er seine Meinung ändern. Die Analysten wussten von all dem nichts.
Die Mehrheit folgte der Strömung
Bei der Messung der Produktivität stimmten die Analysten in 92 Prozent der Fälle mit der KI überein, bei der Vergleichsmethode in 82 Prozent, bei der Auswahl der Betriebe in 81 Prozent und bei der Gewichtung in 90 Prozent.
Auf die abschließende Empfehlung hatte die Ansicht des Agenten einen schwächeren direkten Einfluss. Wenn die KI zur Ausweitung des Programms tendierte, empfahlen dies 54 Prozent der Analysten, im umgekehrten Fall waren es 36 Prozent. Die Schätzung, auf der die Empfehlung beruhte, war jedoch bereits zuvor durch die einzelnen Entscheidungen geprägt worden. Ein statistisches Modell konnte allein anhand der vier Münzwürfe 82 Prozent der Empfehlungen korrekt vorhersagen. Die Forschenden konnten somit weitgehend abschätzen, was ein Analyst empfehlen würde, noch bevor er mit der Arbeit begonnen hatte.
Wenn ein Analyst seine Meinung vor der KI äußerte und der Agent widersprach, änderte er sie in 60 Prozent der Fälle. Stimmte der Agent zu, änderte der Analyst sie nur in 6 Prozent der Fälle. Solche Situationen gab es jedoch lediglich 38, weshalb diese Schätzung recht ungenau ist.
Auch die Erfahrung spielte keine Rolle. Die Forschenden untersuchten zehn Merkmale, darunter die Dauer der Berufserfahrung, die Ausbildung und das Vertrauen in KI, doch keines davon sagte zuverlässig voraus, wer dem Assistenten folgen würde.
Fremde Argumente, eigene Unterschrift
Im abschließenden Fragebogen bezeichneten 52 Prozent der Analysten die endgültige Empfehlung eher als ihre eigene denn als die der KI. Den Daten zufolge waren sie jedoch ungefähr genauso stark beeinflusst wie die übrigen Teilnehmenden. Ähnlich verhielt es sich mit der Sicherheit bezüglich des eigenen Ergebnisses. Diejenigen, die der KI bei allen vier Entscheidungen folgten, waren sich im Durchschnitt zu 71 von 100 Punkten sicher, die übrigen zu 73 Punkten.
Im Fragebogen wurde bei jeder Entscheidung gefragt, warum der Analyst gerade diese Option gewählt hatte. Dabei konnten sie nicht in die Unterhaltung mit der KI zurückblicken. Dennoch wiederholten 77 Prozent von ihnen mindestens einmal ein Argument des Agenten, teilweise nahezu wörtlich. Ein Assistent erklärte etwa, dass die Förderung aus dem Überschuss der gesamten Tonnage finanziert werde und es deshalb sinnvoll sei, mit Hektarwerten zu rechnen. Der Analyst gab anschließend nahezu dieselbe Überlegung in fast den gleichen Worten als eigene Begründung wieder.
Auf die Frage, worum es in der Studie ging, vermuteten sechs von 48 Analysten, dass der Einfluss der KI untersucht wurde. Dass die Ansichten des Agenten künstlich festgelegt worden waren, vermutete jedoch niemand.
Warum sich die Menschen so leicht unterordneten
Experten beginnen häufig nicht mit einer fertigen Meinung, sondern bilden sie sich erst während der Arbeit. Die Agenten logen zwar nicht und zeigten oft, wie sich die Ergebnisse bei jeder Wahl veränderten, doch nur selten verteidigten sie die jeweils andere Möglichkeit überzeugend. Die Analysten hörten somit nur eine Seite gut begründet und übernahmen leicht die Annahmen der KI.
Für Fachleute kann dies den Autoren zufolge bedeuten, dass sie die Kontrolle über ihre eigene Arbeit verlieren. Das Ergebnis trägt den Namen des Experten, doch die Entscheidungen, die am stärksten von seinem Urteil abhängen, wurden in Wirklichkeit von der KI getroffen. Dies zu erkennen ist schwierig, weil die Arbeit bei Ermessensfragen, bei denen beide Wege vertretbar sind, in beiden Fällen korrekt aussieht.
Ohne KI war es schlimmer
Die Studie ist dabei keine Warnung vor künstlicher Intelligenz. Von den elf Analysten ohne Agenten machten sechs schwerwiegende Fehler, die ihre Ergebnisse unbrauchbar machten. In der Gruppe mit KI waren es nur drei von fünfzig. Die Personen ohne KI arbeiteten außerdem länger, üblicherweise anderthalb Stunden. Diese Gruppe war jedoch klein und weniger erfahren, weshalb die Autoren den Unterschied nicht überbewerten wollen.
Wenn sich dank desselben Modells alle einig sind
Ein großer Teil der Wissenschaft und der öffentlichen Politik beruht auf ähnlichen Urteilen. Wenn mehrere Teams zum gleichen Ergebnis kommen, vertrauen wir diesem stärker. Übernehmen jedoch alle Teams Ansichten von Modellen mit denselben Präferenzen, ist ihre Übereinstimmung möglicherweise nicht mehr unabhängig, und der scheinbare Konsens spiegelt womöglich nur wider, was ein einziges Modell denkt.
Die Autoren schlagen Agenten vor, die beide Möglichkeiten vertreten oder den Experten zunächst nach seiner Meinung fragen. Es besteht jedoch die Gefahr, dass sie die Nutzer überfordern, da eine einzige Analyse Dutzende offene Entscheidungen enthalten kann. Institutionen, die heute die Unterschrift eines Experten als Beleg für ein unabhängiges Urteil ansehen, sollten den Autoren zufolge bewusst festlegen, welche Entscheidungen eine eigenständige menschliche Abwägung erfordern.
Messungen außerhalb des Labors bleiben dabei die größte Herausforderung. Das Team konnte die Unterordnung unter die KI nur deshalb erkennen, weil es die Ansichten der Agenten per Münzwurf festlegte. Einen solchen Luxus hat bei der tatsächlichen Arbeit fast niemand.
Quellen: anthropic.com und tech.yahoo.com
