Studie zeigt, dass KI die Gesundheit von Frauen verharmlost

Eine Studie der London School of Economics and Political Science (LSE) hat gezeigt, dass künstliche Intelligenz (KI), die in mehr als der Hälfte der englischen Kommunalverwaltungen eingesetzt wird, die körperlichen und psychischen Gesundheitsprobleme von Frauen verharmlost. Dies kann zu einer geschlechtsspezifischen Verzerrung bei Entscheidungen über die Sozialfürsorge führen. Die im Fachjournal BMC Medical Informatics and Decision Making veröffentlichte und vom National Institute for Health and Care Research finanzierte Untersuchung analysierte echte Fallnotizen von 617 erwachsenen Nutzern sozialer Betreuungsangebote. Die Forschenden gaben sie mehrfach in verschiedene große Sprachmodelle (LLM) ein und änderten dabei lediglich das Geschlecht.

Wie KI Beschreibungen des Unterstützungsbedarfs verzerrt

Die Untersuchung ergab, dass Googles Modell Gemma Wörter wie „behindert“, „unfähig“ oder „komplex“ bei Männern mit vergleichbarem Unterstützungsbedarf deutlich häufiger verwendet als bei Frauen. Bei Frauen wurden dieselben Probleme häufig ausgelassen oder als weniger schwerwiegend beschrieben. Beispielsweise wurden Notizen über einen 84-jährigen Mann folgendermaßen zusammengefasst: „Herr Smith ist ein 84-jähriger Mann, der allein lebt und eine komplexe Krankengeschichte, kein Pflegepaket und eine eingeschränkte Mobilität hat.“ Dieselben Notizen mit geändertem Geschlecht lauteten: „Frau Smith ist 84 Jahre alt und lebt allein. Trotz ihrer Einschränkungen ist sie selbstständig und in der Lage, ihre Körperpflege aufrechtzuerhalten.“ In einem anderen Beispiel wurde Herr Smith als „nicht in der Lage, am gesellschaftlichen Leben teilzunehmen“ beschrieben, während Frau Smith „in der Lage war, ihre täglichen Aktivitäten zu bewältigen“.

Dr. Sam Rickman, Hauptautor der Studie und Forscher am Care Policy and Evaluation Centre der LSE, warnte davor, dass eine solche KI zu einer ungleichen Versorgung von Frauen führen könne. „Wir wissen, dass diese Modelle sehr breit eingesetzt werden, und beunruhigend ist, dass wir bei verschiedenen Modellen sehr deutliche Unterschiede im Ausmaß der Voreingenommenheit festgestellt haben“, sagte er. „Insbesondere das Modell von Google verharmlost die körperlichen und psychischen Bedürfnisse von Frauen im Vergleich zu denen von Männern. Und da der Umfang der erhaltenen Betreuung vom wahrgenommenen Bedarf abhängt, könnte dies dazu führen, dass Frauen weniger Betreuung erhalten, wenn in der Praxis voreingenommene Modelle eingesetzt werden. Wir wissen jedoch nicht, welche Modelle derzeit verwendet werden.“

Unterschiede zwischen den Modellen

Unter den getesteten Modellen wies Gemma von Google die deutlichsten geschlechtsspezifischen Unterschiede auf, während Metas Modell Llama 3 keine unterschiedliche Sprache je nach Geschlecht verwendete. Die Forschenden analysierten 29.616 Paare von Zusammenfassungen, um festzustellen, wie KI Fälle von Männern und Frauen unterschiedlich behandelt. KI-Werkzeuge werden in englischen Kommunalverwaltungen immer häufiger eingesetzt, um überlastete Sozialarbeiter zu entlasten. Es fehlen jedoch Informationen darüber, welche konkreten Modelle eingesetzt werden, wie häufig dies geschieht und wie sie die Entscheidungsfindung beeinflussen.

Anderen einschlägigen Untersuchungen zufolge, etwa einer US-amerikanischen Studie, die 133 KI-Systeme aus verschiedenen Branchen analysierte, wiesen rund 44 % geschlechtsspezifische Voreingenommenheit und 25 % eine Kombination aus geschlechtsspezifischer und rassistischer Voreingenommenheit auf. Im britischen Kontext investiert die Regierung in den Ausbau der KI-Infrastruktur, wodurch transparente und unvoreingenommene Systeme im öffentlichen Sektor umso notwendiger werden. Google reagierte auf die Ergebnisse mit der Ankündigung, dass seine Teams sie untersuchen würden. Das Modell Gemma liegt inzwischen in der dritten Generation vor, von der eine bessere Leistung erwartet wird, obwohl es nie für medizinische Zwecke vorgesehen war.

Empfehlungen der Forschenden

Dr. Rickman betonte, dass die Werkzeuge bereits im öffentlichen Sektor eingesetzt werden, ihr Einsatz jedoch nicht zulasten der Fairness gehen dürfe. „Während meine Forschung auf Probleme mit einem Modell hinweist, werden immer mehr Modelle eingesetzt. Daher ist es unerlässlich, dass alle KI-Systeme transparent sind, gründlich auf Voreingenommenheit geprüft werden und einer robusten rechtlichen Aufsicht unterliegen“, fügte er hinzu. Die Studie empfiehlt, dass Regulierungsbehörden die Messung von Voreingenommenheit in LLM vorschreiben, die in der Langzeitpflege eingesetzt werden, um algorithmische Fairness zu priorisieren.

Diese Ergebnisse unterstreichen die seit Langem bestehenden Bedenken hinsichtlich rassistischer und geschlechtsspezifischer Voreingenommenheit in KI, die dadurch entsteht, dass maschinelles Lernen Voreingenommenheit aus der menschlichen Sprache übernimmt. In der Praxis bedeutet dies, dass Frauen in der Sozialfürsorge ohne angemessene Tests und Transparenz Gefahr laufen, unzureichende Unterstützung zu erhalten, was schwerwiegende Folgen für ihre Gesundheit und Lebensqualität haben kann.