V dnešní době, kdy umělá inteligence (AI) proniká do každodenního života, se objevují otázky o její spravedlnosti. Nová studie z Penn State University a Oregon State University zkoumala, jestli běžní lidé dokážou rozpoznat rasové zkreslení v datech (bias), které slouží k trénování AI systémů na rozpoznávání obličejů a emocí. Výsledky jsou znepokojivé: většina uživatelů bias vůbec nepostřehla, a to ani tehdy, když jim data ležela přímo před očima.
Experimenty a lidská nevšímavost
Výzkumníci provedli tři experimenty s celkem 769 účastníky. V prvním experimentu ukázali lidem data, kde šťastné tváře patřily převážně bílým lidem, zatímco smutné tváře byly většinou černé. AI se tak naučila spojovat rasu s emocemi, což vedlo k chybám – například špatně klasifikovala emoce u černých jedinců, ale u bílých fungovala správně. Přesto většina účastníků bias neodhalila. Jen černí účastníci byli citlivější, zvláště když viděli smutné obrazy své vlastní skupiny.
Ve druhém experimentu chyběla v datech dostatečná reprezentace rasových skupin. Například všechny šťastné i smutné tváře byly bílé, což AI naučilo ignorovat jiné rasy. Opět platilo, že lidé bias přehlíželi, dokud neviděli chybný výkon systému. Třetí experiment porovnával různé scénáře, včetně variant, kde smutné tváře byly bílé a šťastné černé nebo kde žádná rasová zkreslení nebyla. Výsledky potvrdily, že černí účastníci častěji identifikovali problém, pokud se týkal negativních emocí jejich skupiny.
Autoři studie, jako S. Shyam Sundar z Penn State, zdůraznili, že lidé často důvěřují AI jako neutrálnímu nástroji, i když není. Sundar poznamenal, že účastníci neviděli, jak se rasa mísí s emocemi, přestože to bylo zřejmé. Cheng "Chris" Chen z Oregon State University, která studii vedla, vysvětlila, že bias v datech vede k chybám, kde systém upřednostňuje dominantní skupinu – v tomto případě bílé jedince.
Další studie potvrzují problém s detekcí biasu
Podobné závěry přináší i další výzkumy. Například studie v Scientific Reports ukázala, že lidé mohou "zdědit" bias z AI. V experimentech s medicínskými diagnózami účastníci, kteří pracovali se zkresleným AI, opakovali jeho chyby i poté co AI odešlo. To znamená, že expozice biasu mění lidské rozhodování dlouhodobě.
Výzkum z University of South Carolina identifikoval čtyři typy kognitivních biasů při interakci s AI: priming (předchozí vliv), anchoring (ukotvení na první informaci), framing (rámování) a availability (dostupnost). Tyto mechanismy vysvětlují, proč lidé ztrácejí objektivitu při hodnocení AI výstupů.
Národní institut pro standardy a technologie (NIST) upozorňuje, že bias v AI není jen o datech, ale i o společenském kontextu. Reva Schwartz z NIST řekla, že AI systémy ovlivňují rozhodnutí, která zasahují do životů lidí, a bias se projevuje v celém procesu – od sběru dat po nasazení. Mezi běžné typy patří selection bias (výběrové zkreslení), confirmation bias (potvrzovací zkreslení), measurement bias (měřící zkreslení), stereotyping bias (stereotypní zkreslení) a out-group homogeneity bias (zkreslení homogenity mimo skupinu).
V reálných aplikacích se bias objevuje často. Například nástroje na screening životopisů ukazují preference podle rasy nebo pohlaví, což bylo zjištěno v výzkumu z University of Washington. AI detektory textů zase diskriminují nenativní anglicky mluvící autory, jak ukázala studie ze Stanfordu. Další výzkum z USC odhalil, že až 38,6 % "faktů" používaných AI obsahuje bias.
Zdroj: psu.edu
