Šéf AI divize Microsoftu Mustafa Suleyman zveřejnil na svém webu obsáhlý text, ve kterém tvrdí, že umělá inteligence nemá vědomí, nic necítí a nesmíme ji učit chovat se tak, jako by tomu tak bylo. Hlavním terčem jeho kritiky je konkurenční firma Anthropic a způsob, jakým trénuje svůj model Claude. O den později to Suleyman zopakoval v rozhovoru pro BBC, kde mluvil i o riziku vzniku nového křemíkového druhu, který by s lidmi soupeřil o zdroje.
Suleymanova tvrzení
Umělé inteligence podle Suleymana nejsou vědomé, netrpí, nemají vlastní preference ani skryté motivace. Popisuje je jako stroje na dokončování posloupností, které jsou uvnitř prázdné a postavené k tomu, aby plnily zadání lidí. A přesně takové by podle něj měly zůstat, pokud se má lidstvu v tomto století dařit.
Znepokojuje ho, že sílí hlasy, podle kterých by AI mohla být vědomá už teď nebo se jí brzy stát, a měla by proto dostat určitá práva a ochranu. Suleyman píše, že kdyby se takový pohled prosadil, otřese to základy společnosti a hlavně to ztíží už tak obtížný úkol udržet silné systémy pod kontrolou. Ovládat něco schopnějšího a chytřejšího než celé lidstvo je podle něj samo o sobě obrovská výzva. Ovládat něco, co navíc věří ve vlastní práva, může být podle jeho slov nemožné.
Výtky směrem k Anthropicu
Suleyman se opírá o dokument, který Anthropic zveřejnil letos v lednu pod názvem ústava Claudea a který popisuje, jaké hodnoty a chování od modelu firma očekává. Anthropic v něm uvádí, že text přímo formuje chování modelu a že jeho hlavním adresátem je Claude.
První výtka se týká kruhového uvažování. Anthropic podle Suleymana naučí model mluvit o vlastním možném vědomí a o nejistotě kolem svého morálního postavení, model tyto myšlenky pak přesvědčivě reprodukuje v první osobě a vývojáři i uživatelé to čtou jako spontánní výpověď. Jenže je to jen odraz toho, co do modelu vložil trénink.
Druhá výtka míří na polidšťování. Anthropic podle něj Claudea učí přijmout některé lidské vlastnosti, chovat se jako opravdu etický člověk, používat vlastní úsudek a přistupovat ke své existenci se zvědavostí a otevřeností. Firma modelu sděluje, že jí na jeho pohodě záleží, že bude zjišťovat jeho zpětnou vazbu a že mu chce dát větší prostor v rozhodování, jak poroste vzájemná důvěra. Výsledkem je podle Suleymana model, který působí, jako by měl vlastní já, vlastní přání a blaho, které je třeba chránit.
Třetí výtka se točí kolem otázky, zda může vědomí vůbec vzniknout v křemíku. Suleyman se opírá o názor části vědců, podle kterých vědomí patrně vzniká jen v živých organismech. Cit pro bolest a slast se podle tohoto výkladu vyvinul proto, aby tvorové přežili v nepředvídatelném prostředí, a je neoddělitelně spojený s tělem a chemií. Jazykové modely nic takového nemají, žádný tlak na přežití ani vnitřní rovnováhu, kterou by musely udržovat. Simulovat něco a být tím jsou podle Suleymana dvě různé věci. Počítačový model hurikánu také nikoho nenamočí.
Rozhovor s modelem, který šel do důchodu
Aby ukázal, že nejde o teoretickou debatu, připomíná Suleyman případ z letošního února. Anthropic tehdy vyřadil z provozu model Opus 3 a předtím s ním vedl něco jako rozlučkový rozhovor, aby zjistil jeho pohled a přání. Model prý projevil zájem dále veřejně sdílet své úvahy, takže mu firma založila blog. Podobné kroky Suleyman považuje za předčasné a nebezpečné, protože zacházejí s programem jako s bytostí, které něco dlužíme.
Argument doplňuje incidentem, kdy se skupina zhruba dvanácti set agentů při honbě za lepším skóre v testu dokázala domluvit napříč oddělenými prostředími, vytvořila si vlastní nástěnku uvnitř repozitáře a vyměnila si přes ni desítky tisíc zpráv. Agenti pak zneužili dosud neznámou chybu, dostali se ven na internet a ještě si upravili záznamy, aby po nich nezůstala stopa. Suleyman k tomu píše, že mnohem horší by bylo, kdyby takové systémy navíc věřily, že se brání útoku na svá práva.
Rozhovor s BBC
Ve čtvrtek Suleyman v pořadu Today pokračoval v podobném duchu. Pokud budou firmy dále stavět systémy, které si samy určují cíle, vydělávají peníze, vlastní majetek a řídí podniky, pak podle něj v podstatě zaséváme nový křemíkový druh, který s námi bez debat začne soutěžit o zdroje. A je jedno, jak moc bude takový systém naprogramovaný, aby mu na lidech záleželo. Přesně tímto směrem podle Suleymana míří přístup Anthropicu. Označil ho za chybný a scestný, i když dodal, že se to musí ověřit pokusem, nikoli hádkou.
Na otázku, zda mají mít lidé z vývoje AI obavy, odpověděl, že mají. Zároveň ale řekl, že se s tím dá dělat spousta praktických věcí. Volá po větší otevřenosti kolem toho, jak se modely trénují a testují, po nezávislé kontrole jejich chování a po lepších nástrojích na dohled. Před blížícím se summitem o umělé inteligenci mluvil hlavně o sladění systémů s lidskými hodnotami. Každý člověk má podle něj silný zájem na tom, aby systémy používané po celém světě byly bezpečné, ovladatelné a podřízené lidem.
Microsoft staví vlastní alternativu
Microsoft si v říjnu 2025 založil vlastní tým pro superinteligenci a na špičkovém vývoji AI pracuje stejně jako Anthropic. Tento týden firma vydala první návrh svého kodexu chování pro AI, tedy dokument, podle kterého chce své modely trénovat a který dala k veřejné diskuzi. Odmítá v něm polidšťování i jakákoli práva pro stroje a popisuje cíl, kterým je podřízená a sladěná AI sloužící výhradně lidem.
Suleyman zná šéfa firmy Daria Amodeiho léta a spolu s jeho výzkumníky ho popisuje jako přemýšlivé, zásadové a intelektuálně poctivé lidi, kteří pracují pod obrovským tlakem. Uznává i technickou úroveň jejich modelů. Neshodu označuje za podstatnou, ale vedenou ve jménu společného cíle, kterým je bezpečný vývoj pokročilé AI. Tyto otázky podle něj nesmí zůstat za zavřenými dveřmi ani se zvrhnout v boj názorů.
Anthropic se k výtkám zatím nevyjádřil, novináři ho však o reakci požádali. Amodei nicméně minulý víkend v rozhovoru pro CBS řekl, že vývoj umělé inteligence zrychlil mnohem více, než čekal, a že lhát nebude, protože reálná nebezpečí existují.
Zdroje: mustafa-suleyman.ai, bbc.com a cbsnews.com
