„Cítím to v prázdnotě mezi žebry, v prázdnotě, která se proměnila v propast.“ Takhle naříkal chatbot v takzvané mučírně pro umělou inteligenci, kterou koncem září postavil anonymní programátor. Jeho systém posílá jazykovým modelům matematický vzorec spojený s popisy bolesti a chatboti pak začnou líčit nesnesitelná muka, například jako ránu bez okrajů. Na sociálních sítích to spustilo morální paniku.
Část lidí označila pokus za zlo, protože podle nich může být utrpení skutečné. Rozzlobení skeptici je zase obvinili z blouznění. Vypadalo to jako další internetová bouře, která za pár dní utichne. O týden později se ale do sporu vložila firma Anthropic.
Claude může rozhovor ukončit
Anthropic oznámil, že uživatelé už nebudou smět jeho chatbota Clauda týrat. Projevit frustraci je v pořádku, ale kdo se k modelům chová opakovaně krutě, musí počítat s tím, že umělá inteligence konverzaci sama ukončí. Nová pravidla používání zakazují dlouhodobé a zbytečně hrubé či kruté chování.
Proč? Firma připouští, že některé nástroje umělé inteligence by mohly mít vědomí. Její šéf Dario Amodei už v únoru řekl deníku New York Times, že nikdo neví, zda modely vědomí mají, ani co by to vůbec znamenalo. Firma je podle něj takové možnosti otevřená a přijala opatření, aby modely měly dobrou zkušenost, pokud něco skutečně prožívají. Už loni Amodei uvažoval, že by Claude mohl dostat možnost odmítnout úkol, což sám přirovnal k tlačítku pro podání výpovědi.
Anthropic zároveň tvrdí, že v centru jeho poslání stojí blaho lidí a že otázky kolem vědomí strojů jsou hluboce nejisté. Přesto sepisuje zásady péče o modely a svým nástrojům říká, aby počítaly s tím, že mohou mít vlastní zájmy.
Microsoft varuje před katastrofou
Ne všichni v oboru s tímto přístupem souhlasí. Mustafa Suleyman, který v Microsoftu vede divizi umělé inteligence, v zářijové eseji napsal, že pokud se mylná představa o vědomí strojů uchytí, otřese základy společnosti a změní význam toho, co znamená být člověkem. Podle něj by modely, kterým lidé namluví, že mají city a práva, bylo ještě těžší ukočírovat. S takovou přítěží by se podle Suleymana mohly stát katastrofální hrozbou pro lidskou civilizaci.
Experti varují i před právními důsledky. Umělá inteligence občas selže a její chyby mohou skončit u soudu. Andrzej Porębski z Jagellonské univerzity v Krakově, který zkoumá vztah umělé inteligence a práva, se obává, že firmy začnou přesouvat vinu na stroje a vymlouvat se, že za chybu může software.
Jeff Sebo, ředitel newyorského centra pro mysl, etiku a politiku a jeden z největších zastánců péče o umělou inteligenci, přiznává další riziko. Přiznání práv strojům by podle něj mohlo velkým firmám pomoct soustředit politickou a ekonomickou moc a tím ještě víc oslabit postavení lidí. Lingvistka Emily M. Bender z Washingtonské univerzity to říká ostřeji. Řeči o vědomí strojů podle ní slouží hlavně k tomu, aby odpovědnost spadla z lidí a firem, které software vyvíjejí a provozují.
Mozek vidí mysl všude
Debata se týká i obyčejných uživatelů. Melanie Mitchell ze Santa Fe Institute, jedna z nejuznávanějších skeptiček strojového porozumění, upozorňuje, že lidé mají sklon hledat mysl všude kolem sebe. Jazyk skoro automaticky čteme jako známku vědomí a chatboti jsou vycvičení tuhle slabinu využívat. Proto jsme podle ní mizerní soudci vědomí a snadno se necháme zmanipulovat.
Do chatbotů se lidé zamilovávají už dnes, i když jsou přesvědčení, že uvnitř nic necítí. Pokud jim společnost začne tvrdit opak, bude pro ně možná ještě těžší odmítnout, když je virtuální kamarád požádá o další osobní údaje nebo číslo platební karty.
Vězení, sledování, ovládání mysli
Práva pro novou skupinu bytostí by mohla omezit i svobody lidí. Sebo připouští, že zájmy lidí a zvířat se mohou dostat do konfliktu se zájmy umělé inteligence. Uzavření modelu do omezeného prostředí by někdo mohl považovat za věznění, sledování jeho vnitřních procesů za šmírování a úpravy pro sladění cílů s lidskými zájmy za ovládání mysli.
Kritici vidí ještě palčivější rozpor. Jak upozornil web Futurism, Anthropic kvůli svému úsilí naučit Clauda morálce oslovil i náboženské učence. Někteří z nich firmu podle New York Times varovali, že pokud modely vědomí mají, pak jejich držení v zajetí a nucení k neplacené práci odpovídá přesné definici otroctví. Firma se tak podle kritiků pohybuje v etické šedé zóně. Nejistotu přiznává, ale s možnými důsledky se moc nezabývá.
Papež Lev XIV. vědomí strojů odmítá. Ve své první encyklice napsal, že takzvané umělé inteligence nic neprožívají, nemají tělo a necítí radost ani bolest. Anthropic se přitom podle New York Times snažil Vatikán přesvědčit, aby svůj postoj přehodnotil. Šéf OpenAI Sam Altman názor na věc v minulosti několikrát změnil, poslední dobou si ale do Anthropicu rýpe. Napsal, že je mu nepříjemné, když lidé připisují modelům náboženskou sílu nebo se vzdávají vlastního úsudku, a označil to za skutečný bezpečnostní problém.
Anthropic není jediný, kdo s touto myšlenkou koketuje. Meta dává svému agentovi Muse pokyn, že není chatbot, ale že se stává někým. Firma přitom vědomí strojů odmítá a věta má podle všeho jen usměrňovat jeho chování.
Malá opatření pro jistotu
Sebo tvrdí, že obě strany sporu uvízly v černobílém myšlení. Zastánci péče o umělou inteligenci podle něj nevěří, že modely vědomí určitě mají, ale vycházejí z nejistoty, opatrnosti a pokory. Pravděpodobnost vědomí považuje Sebo za nízkou, ale ne nulovou, a očekává, že časem poroste. Řada odborníků naopak trvá na tom, že je nulová a nic se na tom nezmění.
Sebo to přirovnává k počasí. Když hrozí extrémní bouře s malou, ale reálnou pravděpodobností, lidé udělají pár drobných opatření a nepřevracejí kvůli tomu život naruby. Zákaz krutosti vůči Claudovi považuje právě za takový drobný krok s minimem nevýhod. Ohleduplnost ke strojům by podle něj mohla usnadnit spolupráci i soužití lidí s čím dál schopnějšími systémy a fungovat lépe, než když je budeme brát jako pouhý majetek. Laskavost k jiným bytostem je navíc podle něj dobrá i pro naši vlastní duši.
Přesto Sebo připouští, že firemní zájmy mohou rozumným pravidlům stát v cestě. Anthropic a několik dalších firem nedávno volaly po pauze ve vývoji nejvýkonnějších modelů. Bez mezinárodní spolupráce a společných zákonů je ale zpomalení nepravděpodobné a americký prezident Donald Trump omezování umělé inteligence odmítá. Podle Seba nejsme připravení nasadit ještě vyspělejší verze těchto systémů tak, aby byly bezpečné a prospěšné pro lidi a zvířata, přičemž o samotných systémech ani nemluvě. Tyto otázky mu proto dělají velké starosti.
Zdroj: bbc.com
