Kommissarin warnt vor diskriminierender KI und zunehmendem Rassismus

Kommissarin warnt vor diskriminierender KI und zunehmendem Rassismus

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
18. 8. 2025
3 Minuten Lesezeit · 8 Aufrufe
Kommissarin warnt vor diskriminierender KI und zunehmendem Rassismus

Kommissarin warnt vor diskriminierender KI und einer Verschärfung des Rassismus

Die australische Menschenrechtskommissarin Lorraine Finlay warnte, dass künstliche Intelligenz (KI) Rassismus und Sexismus im Land verschärfen könnte, wenn sie keiner strengen regulatorischen Aufsicht unterliegt. Ihren Worten zufolge kann sich algorithmische Voreingenommenheit – bei der Vorurteile aus Datensätzen auf Systeme des maschinellen Lernens übertragen werden – mit Automatisierungsverzerrungen verbinden, was dazu führt, dass Menschen den Ergebnissen von KI zu sehr vertrauen und diskriminierende Resultate als neutral oder objektiv akzeptieren. Dies könnte dazu führen, dass Diskriminierung „unsichtbar“ und tief in automatisierten Entscheidungsprozessen verankert wird.

Diskriminierungsrisiken bei der Personalbeschaffung

Eine im Mai 2025 veröffentlichte australische Studie schätzt, dass etwa 30 % der australischen Arbeitgeber KI-Tools für die Personalbeschaffung einsetzen und dass diese Zahl in den nächsten fünf Jahren steigen dürfte. Die von Natalie Sheard, einer Forscherin an der juristischen Fakultät der Universität Melbourne, durchgeführte Studie weist auf die Risiken einer Diskriminierung von Stellenbewerbern hin, die von KI-Systemen interviewt werden. So könnten beispielsweise Menschen mit Akzenten oder Sprachbehinderungen benachteiligt werden, da die zum Trainieren von KI verwendeten Datensätze die demografischen Gruppen in Australien häufig nicht widerspiegeln.

Sheard befragte für ihre Studie 18 Personalfachleute in Australien, von denen 13 KI-Systeme für die Personalbeschaffung einsetzten. Am häufigsten wurden Systeme zur Analyse von Lebensläufen verwendet, gefolgt von Systemen für Videointerviews. Ein Beispiel aus der Studie zeigt, dass bei einem Unternehmen mit einem KI-System nur 6 % der Trainingsdaten aus Australien oder Neuseeland stammten, während 36 % der Bewerber in den Daten weiß waren. Die Fehlerquote bei der Transkription von Wörtern liegt bei englischen Muttersprachlern in den USA unter 10 %, steigt jedoch bei Nichtmuttersprachlern mit Akzenten aus anderen Ländern auf 12 bis 22 %, beispielsweise bei Sprechern aus China.

Die Studienteilnehmer beschrieben, wie die Worte von Nichtmuttersprachlern oder Menschen mit Sprachbehinderungen falsch transkribiert werden können, was zu einer niedrigen Bewertung durch den Algorithmus führt. Zwei von ihnen verlangten vom Anbieter der KI-Software die Zusicherung, dass das System Bewerber mit Akzenten nicht benachteilige, und erhielten die Antwort, die KI sei „wirklich gut darin, Akzente zu verstehen“, allerdings ohne jeglichen Nachweis.

Transparenz und Regulierung

Lorraine Finlay betonte den Mangel an Transparenz bei den Datensätzen zum Trainieren von KI, wodurch inhärente Verzerrungen nur schwer identifiziert und behoben werden können. Sie warnt davor, dass das Streben nach Produktivität durch KI nicht auf Kosten der Menschenrechte und der Antidiskriminierungsziele gehen darf. Diese Warnungen erfolgen inmitten einer politischen Debatte innerhalb der Regierung über die Regulierung von KI. So argumentiert beispielsweise die Senatorin und ehemalige KI-Forscherin Michelle Ananda-Rajah, dass die Freigabe australischer Daten für das Training von KI Verzerrungen verringern könnte, da die Systeme dadurch die lokale Vielfalt besser widerspiegeln würden, anstatt Verzerrungen aus im Ausland trainierten Modellen fortzuschreiben.

Ananda-Rajah spricht sich gegen ein eigenständiges KI-Gesetz aus, unterstützt jedoch eine Vergütung australischer Inhaltsersteller für die Nutzung ihrer Daten zu Trainingszwecken. Medien- und Kunstorganisationen äußerten Bedenken hinsichtlich eines möglichen Missbrauchs australischer Inhalte durch große Technologieunternehmen und fordern einen stärkeren Schutz des Urheberrechts und der Privatsphäre.

Empfehlungen und nächste Schritte

Sheard betonte in ihrer Studie, dass kein Fall von KI-bedingter Diskriminierung die australischen Gerichte erreicht habe – alle Fälle müssen zunächst die Australische Menschenrechtskommission durchlaufen. Im Jahr 2022 hob der Bundesbeauftragte für den Schutz des Leistungsprinzips elf Beförderungsentscheidungen bei der Behörde Services Australia auf, nachdem die Behörde das Verfahren an einen Spezialisten ausgelagert hatte, der KI-Techniken einsetzte, darunter psychometrische Tests, Fragebögen und von den Kandidaten aufgezeichnete Videoantworten. Es wurde festgestellt, dass das Verfahren „nicht immer das zentrale Ziel erfüllte, die fähigsten Kandidaten auszuwählen“.

Sheard schlägt vor, dass die Regierung von Anthony Albanese ein spezielles KI-Gesetz zur Regulierung ihrer Nutzung erwägen und die bestehenden Antidiskriminierungsgesetze stärken sollte, um vor KI-basierter Diskriminierung zu schützen. Ohne diese Maßnahmen könnte KI nach Ansicht von Finlay und anderen Interessengruppen die bestehenden rassischen und geschlechtsspezifischen Ungleichheiten in Australien vertiefen und dadurch ihre Aufdeckung und Bekämpfung erschweren.

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

OpenAI zieht gegen Kindesmissbrauch zu Felde. ChatGPT sperrt Konten für einen ganzen TagOpenAI zieht gegen Kindesmissbrauch zu Felde. ChatGPT sperrt Konten für einen ganzen Tag
OpenAI verstärkt den Kinderschutz: Ein neues System erkennt auch bislang unbekannte KI-Bilder und sperrt ChatGPT-Konten bei versuchtem Abruf für 24 Stunden.
4 Min. Lesezeit
18. 11. 2026
Google stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereitGoogle stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereit
Der Tasks-Modus wird für Hunderte Millionen Nutzer von Gemini 4 Hydrogen kostenlos verfügbar. Laut Google kann er Unternehmen anrufen, Termine vereinbaren und Einkäufe abschließen.
1 Min. Lesezeit
18. 11. 2026
OpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben einOpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben ein
OpenAI hat zwei Modelle vorgestellt: Astra ist für komplexe berufliche Aufgaben gedacht, Sol für die alltägliche Arbeit. Beide sind in ChatGPT Work, Codex und über die API verfügbar.
3 Min. Lesezeit
17. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok