Kommissarin warnt vor diskriminierender KI und einer Verschärfung des Rassismus

Die australische Menschenrechtskommissarin Lorraine Finlay warnte, dass künstliche Intelligenz (KI) Rassismus und Sexismus im Land verschärfen könnte, wenn sie keiner strengen regulatorischen Aufsicht unterliegt. Ihren Worten zufolge kann sich algorithmische Voreingenommenheit – bei der Vorurteile aus Datensätzen auf Systeme des maschinellen Lernens übertragen werden – mit Automatisierungsverzerrungen verbinden, was dazu führt, dass Menschen den Ergebnissen von KI zu sehr vertrauen und diskriminierende Resultate als neutral oder objektiv akzeptieren. Dies könnte dazu führen, dass Diskriminierung „unsichtbar“ und tief in automatisierten Entscheidungsprozessen verankert wird.

Diskriminierungsrisiken bei der Personalbeschaffung

Eine im Mai 2025 veröffentlichte australische Studie schätzt, dass etwa 30 % der australischen Arbeitgeber KI-Tools für die Personalbeschaffung einsetzen und dass diese Zahl in den nächsten fünf Jahren steigen dürfte. Die von Natalie Sheard, einer Forscherin an der juristischen Fakultät der Universität Melbourne, durchgeführte Studie weist auf die Risiken einer Diskriminierung von Stellenbewerbern hin, die von KI-Systemen interviewt werden. So könnten beispielsweise Menschen mit Akzenten oder Sprachbehinderungen benachteiligt werden, da die zum Trainieren von KI verwendeten Datensätze die demografischen Gruppen in Australien häufig nicht widerspiegeln.

Sheard befragte für ihre Studie 18 Personalfachleute in Australien, von denen 13 KI-Systeme für die Personalbeschaffung einsetzten. Am häufigsten wurden Systeme zur Analyse von Lebensläufen verwendet, gefolgt von Systemen für Videointerviews. Ein Beispiel aus der Studie zeigt, dass bei einem Unternehmen mit einem KI-System nur 6 % der Trainingsdaten aus Australien oder Neuseeland stammten, während 36 % der Bewerber in den Daten weiß waren. Die Fehlerquote bei der Transkription von Wörtern liegt bei englischen Muttersprachlern in den USA unter 10 %, steigt jedoch bei Nichtmuttersprachlern mit Akzenten aus anderen Ländern auf 12 bis 22 %, beispielsweise bei Sprechern aus China.

Die Studienteilnehmer beschrieben, wie die Worte von Nichtmuttersprachlern oder Menschen mit Sprachbehinderungen falsch transkribiert werden können, was zu einer niedrigen Bewertung durch den Algorithmus führt. Zwei von ihnen verlangten vom Anbieter der KI-Software die Zusicherung, dass das System Bewerber mit Akzenten nicht benachteilige, und erhielten die Antwort, die KI sei „wirklich gut darin, Akzente zu verstehen“, allerdings ohne jeglichen Nachweis.

Transparenz und Regulierung

Lorraine Finlay betonte den Mangel an Transparenz bei den Datensätzen zum Trainieren von KI, wodurch inhärente Verzerrungen nur schwer identifiziert und behoben werden können. Sie warnt davor, dass das Streben nach Produktivität durch KI nicht auf Kosten der Menschenrechte und der Antidiskriminierungsziele gehen darf. Diese Warnungen erfolgen inmitten einer politischen Debatte innerhalb der Regierung über die Regulierung von KI. So argumentiert beispielsweise die Senatorin und ehemalige KI-Forscherin Michelle Ananda-Rajah, dass die Freigabe australischer Daten für das Training von KI Verzerrungen verringern könnte, da die Systeme dadurch die lokale Vielfalt besser widerspiegeln würden, anstatt Verzerrungen aus im Ausland trainierten Modellen fortzuschreiben.

Ananda-Rajah spricht sich gegen ein eigenständiges KI-Gesetz aus, unterstützt jedoch eine Vergütung australischer Inhaltsersteller für die Nutzung ihrer Daten zu Trainingszwecken. Medien- und Kunstorganisationen äußerten Bedenken hinsichtlich eines möglichen Missbrauchs australischer Inhalte durch große Technologieunternehmen und fordern einen stärkeren Schutz des Urheberrechts und der Privatsphäre.

Empfehlungen und nächste Schritte

Sheard betonte in ihrer Studie, dass kein Fall von KI-bedingter Diskriminierung die australischen Gerichte erreicht habe – alle Fälle müssen zunächst die Australische Menschenrechtskommission durchlaufen. Im Jahr 2022 hob der Bundesbeauftragte für den Schutz des Leistungsprinzips elf Beförderungsentscheidungen bei der Behörde Services Australia auf, nachdem die Behörde das Verfahren an einen Spezialisten ausgelagert hatte, der KI-Techniken einsetzte, darunter psychometrische Tests, Fragebögen und von den Kandidaten aufgezeichnete Videoantworten. Es wurde festgestellt, dass das Verfahren „nicht immer das zentrale Ziel erfüllte, die fähigsten Kandidaten auszuwählen“.

Sheard schlägt vor, dass die Regierung von Anthony Albanese ein spezielles KI-Gesetz zur Regulierung ihrer Nutzung erwägen und die bestehenden Antidiskriminierungsgesetze stärken sollte, um vor KI-basierter Diskriminierung zu schützen. Ohne diese Maßnahmen könnte KI nach Ansicht von Finlay und anderen Interessengruppen die bestehenden rassischen und geschlechtsspezifischen Ungleichheiten in Australien vertiefen und dadurch ihre Aufdeckung und Bekämpfung erschweren.