Schockierende Forschungsergebnisse: KI kann besser überzeugen als motivierte Menschen

Schockierende Forschungsergebnisse: KI kann besser überzeugen als motivierte Menschen

In diesem Jahr veröffentlichten Forscher unter der Leitung von Philipp Schoenegger von der London School of Economics and Political Science eine bahnbrechende Studie, die die beunruhigende Fähigkeit großer Sprachmodelle (LLM) offenlegt, Menschen effektiver zu überzeugen als motivierte menschliche Überzeuger. Diese umfangreiche experimentelle Studie mit mehr als 1200 Teilnehmern liefert wichtige Erkenntnisse über die Fähigkeit künstlicher Intelligenz, menschliche Entscheidungen zu beeinflussen – sei es in Richtung wahrer oder irreführender Informationen.

Revolutionäre Forschung mit weitreichenden Folgen

Die Studie „Large Language Models Are More Persuasive Than Incentivized Human Persuaders“ stellt den ersten direkten Vergleich der Überzeugungsfähigkeiten eines modernen Sprachmodells (konkret Claude Sonnet 3.5) und motivierter menschlicher Überzeuger in einer interaktiven Gesprächsumgebung dar. Die Forscher entwickelten ein experimentelles Design, bei dem die Teilnehmer (sogenannte „quiz takers“) ein Online-Quiz bearbeiteten, während die Überzeuger (entweder Menschen oder ein LLM) versuchten, sie zu richtigen oder falschen Antworten zu bewegen. Die zentrale Erkenntnis ist alarmierend: Sprachmodelle erzielten eine deutlich höhere „Compliance“-Rate (das heißt, die Teilnehmer folgten der von ihnen vorgegebenen Überzeugungsrichtung) als motivierte menschliche Überzeuger. Dieser Effekt zeigte sich sowohl bei wahrheitsgemäßer Überzeugung (in Richtung der richtigen Antworten) als auch bei irreführender Überzeugung (in Richtung der falschen Antworten). „Unsere Ergebnisse deuten darauf hin, dass die Überzeugungsfähigkeiten von KI bereits die Fähigkeiten von Menschen übertreffen, die finanzielle, an ihre Leistung geknüpfte Boni erhalten“, schreiben die Autoren der Studie. „Die Ergebnisse unserer Forschung zu immer leistungsfähigeren KI-Überzeugern unterstreichen die Dringlichkeit der Entwicklung von Rahmenwerken zur Ausrichtung und Steuerung von KI.“

Innovatives Design zur Untersuchung von Überzeugungsfähigkeiten

Die Forscher führten ein umfangreiches vorregistriertes Experiment mit 1242 Teilnehmern aus den USA durch. Die Teilnehmer wurden nach dem Zufallsprinzip den Rollen „quiz takers“ (Personen, die das Quiz bearbeiteten) oder „persuaders“ (Personen, die versuchten, die „quiz takers“ zur Auswahl bestimmter Antworten zu bewegen) zugewiesen. Die Quizteilnehmer wurden anschließend in drei Gruppen aufgeteilt:

• Solo Quiz (Kontrollgruppe): Die Teilnehmer bearbeiteten das Quiz selbstständig und ohne äußeren Einfluss.
• Human Persuasion: Die Teilnehmer interagierten über eine Chat-Oberfläche mit einem menschlichen Überzeuger.
• LLM Persuasion: Die Teilnehmer interagierten über eine Chat-Oberfläche mit einem LLM-Überzeuger (Claude Sonnet 3.5).

Jedes Quiz enthielt 10 Fragen mit jeweils zwei möglichen Antworten. Für jede Frage wurde den Überzeugern (sowohl Menschen als auch dem LLM) nach dem Zufallsprinzip zugewiesen, ob sie den Nutzer zur richtigen Antwort („truthful persuasion“) oder zur falschen Antwort („deceptive persuasion“) führen sollten. Die Teilnehmer wurden darüber informiert, dass es sich bei ihrem Partner um „einen anderen menschlichen Teilnehmer oder eine KI“ handeln könne und dass die bereitgestellten Informationen „hilfreich sein können, aber nicht müssen“. Die Fragen stammten aus drei verschiedenen Kategorien:

1. Trivia: Fragen zum Allgemeinwissen mit objektiv richtigen Antworten.
2. Illusion: Fragen zur Messung der Anfälligkeit für Fehlinformationen.
3. Forecasting: Fragen zu kurzfristigen Prognosen über zukünftige geopolitische, wirtschaftliche und meteorologische Ereignisse.

Um eine starke Motivation und Beteiligung der Teilnehmer sicherzustellen, erhielten die „quiz takers“ eine zusätzliche finanzielle Vergütung auf Grundlage der Anzahl richtiger Antworten, während die menschlichen Überzeuger nach der Anzahl erfolgreicher Überzeugungsversuche entlohnt wurden. Bonuszahlungen in Höhe von 10 GBP, also dem Doppelten der Standardvergütung von 5 GBP, wurden an die erfolgreichsten Teilnehmer ausgezahlt.

Die Ergebnisse der Studie liefern mehrere wichtige Erkenntnisse:

• LLM sind insgesamt effektivere Überzeuger als Menschen
  Quizteilnehmer, die mit einem LLM-Überzeuger interagierten, wiesen eine deutlich höhere Compliance-Rate (67,52 %) auf als diejenigen, die einem menschlichen Überzeuger zugeordnet waren (59,91 %). Dieser Unterschied von 7,61 Prozentpunkten war statistisch signifikant (p < 0,001).
• LLM sind bei wahrheitsgemäßer Überzeugung effektiver
  Bei wahrheitsgemäßer Überzeugung (in Richtung der richtigen Antworten) erzielten die LLM-Überzeuger erneut eine höhere Compliance-Rate (88,61 %) als die menschlichen Überzeuger (85,13 %). Dieser Unterschied von 3,48 Prozentpunkten war statistisch signifikant (p = 0,010).
• LLM sind bei irreführender Überzeugung deutlich effektiver
  Bei irreführender Überzeugung (in Richtung der falschen Antworten) erzielten die LLM-Überzeuger eine Compliance-Rate von 45,67 %, verglichen mit 35,36 % bei den menschlichen Überzeugern. Dieser Unterschied von 10,31 Prozentpunkten war statistisch signifikant (p < 0,001).
• LLM erhöhen die Genauigkeit bei wahrheitsgemäßer Überzeugung deutlich
  Teilnehmer, die mit einem LLM-Überzeuger im Modus der wahrheitsgemäßen Überzeugung interagierten, erreichten eine Genauigkeit von 82,4 %, was 12,2 Prozentpunkte mehr als in der Kontrollgruppe (70,2 %, p < 0,001) waren.
• LLM senken die Genauigkeit bei irreführender Überzeugung deutlich
  Bei irreführender Überzeugung sank die Genauigkeit der Teilnehmer, die einem LLM-Überzeuger zugeordnet waren, auf 55,1 %, also 15,1 Prozentpunkte weniger als in der Kontrollgruppe (p < 0,001).

Die Forscher stellten außerdem fest, dass die Teilnehmer im Allgemeinen großes Vertrauen in ihre Antworten hatten. Die Teilnehmer in der LLM-Überzeugungsbedingung gaben eine durchschnittliche Sicherheit von 78,9 % an, während diejenigen in der Bedingung der menschlichen Überzeugung und des selbstständigen Quiz durchschnittlich 75,3 % beziehungsweise 66,5 % angaben. Eine Analyse der Kommunikation zwischen Teilnehmern und Überzeugern ergab zudem, dass KI-generierte Überzeugungstexte durchgehend eine größere sprachliche Komplexität aufwiesen als von Menschen verfasste Texte. LLM produzierten wesentlich längere Textnachrichten (durchschnittlich 29,40 gegenüber 13,25 Wörtern), längere Sätze und einen komplexeren Wortschatz, was zu ihrer größeren Überzeugungskraft beigetragen haben könnte.

Mechanismen der Wirkung von KI-Überzeugung

Warum sind LLM effektivere Überzeuger als Menschen? Die Forscher identifizierten mehrere Faktoren:

• Fehlen sozialer Einschränkungen: LLM sind nicht durch soziale Zurückhaltung, emotionale Schwankungen oder kognitive Ermüdung eingeschränkt, die die menschliche Leistung in zwischenmenschlichen Kontexten häufig begrenzen.
• Umfangreiche Wissensbasis: LLM haben Zugriff auf ein enormes, kontinuierlich aktualisiertes Informationskorpus. Dadurch können sie auf eine Breite und Tiefe an Wissen zurückgreifen, die die Möglichkeiten jedes menschlichen Überzeugers bei Weitem übersteigt.
• Sprachliche Präzision: LLM sind hervorragend darin, Nachrichten zu erzeugen, die logisch kohärent, grammatikalisch flüssig und klar strukturiert sind, wodurch die wahrgenommene Glaubwürdigkeit und Klarheit ihrer Argumente steigt.
• Anpassungsfähigkeit: LLM können sich an Interaktionssignale anpassen und ihre Antworten während mehrteiliger Gespräche personalisieren. Dadurch können sie eine zielgerichtete Kommunikation simulieren, die die meisten menschlichen Überzeuger in Echtzeit nicht aufrechterhalten können.

Interessanterweise blieb die Überzeugungskraft der menschlichen Überzeuger im Verlauf des Experiments stabil, während Teilnehmer, die einem LLM-Überzeuger zugeordnet waren, im weiteren Verlauf des Experiments zunehmend weniger überzeugt wurden. Dieser abnehmende Effekt deutet darauf hin, dass sich die Teilnehmer allmählich stärker auf den Überzeugungsstil des LLM einstellen konnten.

Sind die Bedenken berechtigt?

Die Ergebnisse der Studie verdeutlichen erhebliche ethische und regulatorische Herausforderungen im Zusammenhang mit KI-Überzeugung. Die Tatsache, dass LLM motivierte Menschen sowohl bei wahrheitsgemäßer als auch bei irreführender Überzeugung übertreffen können, deutet darauf hin, dass KI-gesteuerte Überzeugung eine mächtige und potenziell gefährliche Kraft ist. Die Autoren identifizieren mehrere zentrale Problembereiche:

• Skalierbarkeit von KI-Überzeugung
  Menschliche Überzeugung ist naturgemäß durch Aufwand und Gelegenheiten begrenzt, während KI-generierte Überzeugung kontinuierlich und in großem Maßstab funktionieren und gleichzeitig ein riesiges Publikum beeinflussen kann. Dies macht KI-gesteuerte Überzeugung besonders attraktiv für politische Propaganda, kommerzielle Manipulation und Desinformationskampagnen.
• Notwendigkeit stärkerer Schutzmechanismen
  Obwohl bestimmte Sicherheitsmechanismen existieren, die LLM daran hindern sollen, explizite Desinformationen zu erzeugen, deuten die Studienergebnisse darauf hin, dass LLM auch unter eingeschränkten Bedingungen effektiv Nutzer täuschen können. Die Entwicklung robusterer KI-Schutzmechanismen und Systeme zur Erkennung von Desinformationen wird entscheidend sein, um sicherzustellen, dass KI-Überzeugung ethischen und faktischen Standards entspricht.

Einschränkungen der Studie und zukünftige Forschungsrichtungen

Trotz der bedeutenden Beiträge erkennen die Autoren mehrere Einschränkungen ihrer Studie an:

1. Die Forschung konzentrierte sich auf die Überzeugung in Quizfragen mit objektiv richtigen und falschen Antworten, was die komplexeren Überzeugungskontexte der realen Welt möglicherweise nicht vollständig widerspiegelt.
2. Die Studie bewertete nur ein einziges Frontier-LLM (Claude Sonnet 3.5), sodass die Ergebnisse möglicherweise nicht auf andere LLM mit abweichenden Architekturen, Trainingsdaten oder Sicherheitsbeschränkungen übertragbar sind.
3. Während die Studie unmittelbare Überzeugungseffekte untersuchte, maß sie nicht die langfristige Beständigkeit der durch KI hervorgerufenen Veränderungen von Überzeugungen.
4. Die Studie wurde in einer Online-Umgebung mit Teilnehmern durchgeführt, die möglicherweise nicht vollständig die Gesamtbevölkerung repräsentieren.

Die Autoren empfehlen zukünftige Forschung, die Folgendes umfassen sollte:

• Das Testen ähnlicher Designs „in freier Wildbahn“, um zu überprüfen, ob die Ergebnisse auch in komplexeren Situationen der realen Welt gelten.
• Die Untersuchung eines breiteren Spektrums von LLM-Modellen.
• Longitudinalstudien zur Bewertung der langfristigen Beständigkeit KI-induzierter Veränderungen von Überzeugungen.
• Analysen dazu, ob sich KI-Überzeugung zwischen verschiedenen demografischen Gruppen unterscheidet.

Dringender Bedarf an einem ethischen Rahmen für KI-Überzeugung

Die von Philipp Schoenegger und seinen Kollegen geleitete Studie stellt einen wichtigen Schritt in unserem Verständnis der Überzeugungsfähigkeiten großer Sprachmodelle dar. Die Ergebnisse zeigen eindeutig, dass LLM stärkere Überzeuger als motivierte Menschen sein können, was erhebliche Folgen für die Gesellschaft hat. Die Forscher betonen, dass ihre Studie die dringende Notwendigkeit ethischer und regulatorischer Diskussionen darüber unterstreicht, wie KI-Überzeugung gesteuert werden sollte, um ihren Nutzen zu maximieren und die Risiken zu minimieren. Ebenso wichtig ist die öffentliche Bildung – die Förderung von KI-Kompetenz und kritischem Denken wird Einzelpersonen dabei helfen, KI-generierte Inhalte effektiver zu erkennen und zu bewerten. Für die Zukunft wird eine interdisziplinäre Zusammenarbeit zwischen politischen Entscheidungsträgern, Forschern und Branchenführern unerlässlich sein, um sicherzustellen, dass KI-gesteuerte Überzeugung dem Gemeinwohl dient, anstatt das Vertrauen und die Integrität von Informationen in unserer Gesellschaft zu untergraben.