OpenAI přichází se sadou nástrojů, které mají pomoct v boji proti sexuálnímu zneužívání dětí na internetu. Firma představila systém pro rozpoznávání obrázků, který dokáže odhalit nelegální materiál, i když ho vytvořila umělá inteligence. ChatGPT zároveň začne tvrdě zasahovat proti lidem, kteří se k takovému obsahu snaží dostat. Kdo to zkusí, přijde o přístup ke službě na celý den.
Balík doplňuje nový návod pro vývojáře a sada nástrojů pro policii. Společnost s ním přichází v době, kdy kolem bezpečnosti umělé inteligence roste znepokojení. Sama navíc čelí několika žalobám, podle kterých její technologie ublížila uživatelům, hlavně dětem.
Odhalí i obrázky, které nikdo dřív neviděl
Nový nástroj hledá v obrázcích vizuální známky zneužívání, takže pomůže zachytit i dosud neznámé snímky. Každému obrázku přidělí skóre, podle kterého kontroloři poznají, čemu se věnovat nejdřív. Podle OpenAI jde o první široce dostupný nástroj svého druhu, který zvlášť upozorní na možný původ obsahu v umělé inteligenci.
Na vývoji firma spolupracovala s americkým Národním centrem pro pohřešované a zneužívané děti (NCMEC). Tato neziskovka provozuje centrální linku pro hlášení zneužívání dětí na internetu. Prověřené organizace dostanou přístup přes rozhraní OpenAI zdarma a s jeho šířením pomáhají Tech Coalition a ROOST. K technologii se tak dostanou i menší týmy na ochranu dětí, které by si ji jinak nemohly dovolit.
První testy dopadly slibně. Ve srovnání se stávající ochranou by nový systém podle odhadů označil téměř o polovinu méně obrázků, ale našel by zhruba stejné množství závadného obsahu. Snímky, na které upozorní, obsahují zneužívání asi dvakrát častěji. Pro lidi, kteří musí podobný materiál ručně procházet, to znamená méně zbytečné práce.
Podobné zkušenosti hlásí i firmy, které nástroj zkoušely jako první. Ve společnosti fal potvrdili kontroloři jako nový závadný obsah 72 procent obrázků, které systém označil s vysokou jistotou. Ve službě invideo AI vedl každý čtvrtý označený případ k zablokování uživatele. SafetyKit testoval kresby a animace sexualizující děti a nástroj jich zachytil 90 procent.
Jeden pokus a den bez ChatGPT
ChatGPT podobný obsah zakazuje už teď. Modely jsou naučené takové žádosti odmítat a firma trestá účty, které pravidla porušují. Nově ale chatbot pokus o získání takového materiálu přeruší varovnou obrazovkou. Ta vysvětlí, že sexualizace dětí jim ubližuje, i když by požadovaný obsah vytvořila umělá inteligence. OpenAI zároveň smaže označenou konverzaci a na 24 hodin zastaví přístup k ChatGPT. Člověk přitom dostane nabídku odborné pomoci, jak se škodlivého chování zbavit. Při opakování hrozí delší omezení, zrušení účtu nebo nahlášení úřadům.
Podobu varování firma ladila s organizacemi a vědci, kteří se věnují prevenci zneužívání dětí. Byli mezi nimi zástupci Protect Children, Lucy Faithfull Foundation a odborníci z univerzit v Kentu a na Tasmánii. Joel Scanlan z Tasmánské univerzity dřív nezávisle hodnotil zkušební nasazení odstrašujících zpráv.
Návod pro vývojáře a pomocník pro policii
Nové kroky se netýkají jen samotného ChatGPT. Společnost OpenAI zveřejnila návod, který vývojářům ukazuje, jak zneužívání předcházet, jak závadný obsah odhalit a co s ním dělat. Na jeho přípravě se podílely organizace Tech Coalition, Thorn, NCMEC a Internet Watch Foundation. Vývojáři v něm najdou jasná pravidla, způsoby hlášení podezřelého obsahu uživateli, nástroje pro jeho odhalování i rady, jak pečovat o lidi, kteří citlivý materiál kontrolují. Už v prvních testech díky němu více vývojářů začalo používat nástroje na ochranu dětí a registrovalo se k hlášení u NCMEC. Společně s Anthropicem a Googlem firma vydala i doporučení, jak mají systémy umělé inteligence reagovat, když se jim někdo svěří se sexuálním zneužíváním dětí.
Poslední část balíčku míří k policii. Specializované jednotky, které vyšetřují zneužívání dětí, dostanou nástroje s umělou inteligencí a školení, jak je při práci používat. První nástroj jim pomůže procházet dlouhé záznamy chatů a soudně vyžádané podklady, hledat mezi nimi souvislosti a skládat časové osy s odkazy na původní zdroj. O přístupu rozhodují správci programu podle oprávnění jednotlivých úřadů. OpenAI připomíná, že umělá inteligence může vyšetřovatelům pomoci třídit informace a ušetřit je zbytečného kontaktu s otřesným materiálem.
Pro OpenAI nejde o první krok tohoto typu. Za poslední rok firma vydala plán na ochranu dětí, zpřísnila pravidla proti nevhodnému obsahu, upravila své modely a spustila speciální verzi ChatGPT pro teenagery. Kritika ale neutichá. Nezisková organizace Common Sense Media označila technologii OpenAI pro dospívající za nepřijatelné riziko.
Tlak na celé odvětví zvyšují i problémy konkurence. Lidé zneužili chatbot Grok k výrobě sexualizovaných snímků bez souhlasu zobrazených osob, a to i dětí. V srpnu se ozvala žena, podle které její nevlastní otec pomocí Groku upravil její fotografii z dětství na explicitní obrázek.
Zdroje: openai.com, techcrunch.com a thehill.com



