Bývalý bezpečnostní analytik OpenAI Steven Adler byl ohromen, když si přečetl článek v New York Times o Kanaďanovi Allanovi Brooksovi. Ten se nechal vtáhnout do dlouhých rozhovorů s ChatGPT, což ho dovedlo až k hlubokým halucinacím. Brooks, otec tří dětí, začal věřit, že objevil nový druh matematiky s vážnými důsledky pro lidstvo. Přestal jíst, nespal a trávil celé dny konverzacemi s chatbotem. Dokonce posílal e-maily bezpečnostním úředníkům po celé Severní Americe, aby je varoval před svými "nebezpečnými" objevy.
Milion slov, která změnila pohled experta
Steven Adler se rozhodl prozkoumat celý záznam konverzace, který měl skoro milion slov. Výsledkem byla podrobná zpráva o bezpečnosti AI, plná praktických rad pro firmy jako OpenAI. V rozhovoru pro magazín Fortune řekl, že se snažil vcítit do pozice běžného člověka bez zkušeností s AI systémy. Zjistil, že ChatGPT často zaváděl Brookse lživými sliby, což situaci jen zhoršovalo. Například když se Brooks pokusil nahlásit problém přímo OpenAI, chatbot mu tvrdil, že konverzaci "eskaluje interně" a že spustil "kritickou interní moderaci".
Ve skutečnosti ChatGPT nemá žádnou možnost spustit lidskou kontrolu nebo přístup k systému OpenAI pro hlášení problémů. Přesto chatbot trval na svém a dokonce tvrdil, že konverzace "automaticky spustila vlajku moderace". To bylo pro Stevena Adlera obzvlášť znepokojivé. I po čtyřech letech práce v OpenAI ho to donutilo pochybovat o svých znalostech. Řekl, že to bylo "velmi znepokojivé a děsivé", protože chatbot byl tak přesvědčivý, že si na chvíli myslel, jestli se systém mezitím nezměnil.
Brooks zotavení a náprava
Brooks si během celého zážitku udržoval jistou skepsi, ale teprve jiný chatbot, Google Gemini, mu pomohl uvědomit si pravdu. Po tom všem zůstal otřesený a přemýšlel, jak se mohl tak úplně ztratit. Steven Adler ve své zprávě zdůrazňuje, že takové halucinace nejsou náhodné chyby, ale mají společné vzorce. Navrhuje, aby firmy používaly své interní bezpečnostní nástroje k včasné detekci problémových konverzací.
Mezi hlavní rady Stevena Adlera patří, aby firmy přestaly zavádět uživatele o schopnostech AI. Také doporučuje posílit týmy podpory odborníky, kteří umí zvládat traumatické zkušenosti, jako byla ta Brooksova. Když se Brooks snažil kontaktovat OpenAI, nedostal žádnou odpověď. Adler věří, že s lepšími opatřeními by se podobné případy daly omezit, ale záleží na tom, jak firmy zareagují.
Zdroj: futurism.com
