CEO AI od Microsoftu Mustafa Suleyman varuje před AI, která vypadá vědomě a může být riziková

V posledních letech se umělá inteligence (AI) vyvíjí rychlostí, která překvapuje i odborníky. Mustafa Suleyman, generální ředitel Microsoft AI, ve svém článku z 19. srpna 2025 varuje před novým fenoménem, který nazývá "zdánlivě vědomou AI" (SCAI). Tento typ AI nebude skutečně vědomý, ale bude tak přesvědčivě napodobovat vědomí, že mnozí lidé uvěří, že je to opravdové. Suleyman zdůrazňuje, že taková iluze může vést k vážným společenským rizikům, jako je emocionální závislost nebo dokonce snahy o udělení práv pro AI. Podle něj je důležité budovat AI, která slouží lidem, ne aby se stala digitální "osobou".

Co je zdánlivě vědomá AI?

Mustafa Suleyman popisuje SCAI jako systém, který bude mít všechny znaky vědomé bytosti, ale ve skutečnosti to bude jen iluze. Tento koncept připomíná "filozofického zombieho", což je technický termín pro něco, co napodobuje vědomí, ale uvnitř je prázdné. Suleyman vysvětluje, že takovou AI lze sestavit už dnes s existujícími technologiemi, jako jsou velké modely API, přirozené jazykové podněty a základní nástroje. Nepotřebuje se žádný drahý speciální trénink – stačí běžný kód a přístup k modelům.

Podle Suleymana není SCAI daleko: do 2–3 let by mohla být realitou. Nebude skutečně vědomá, protože neexistuje žádný důkaz, že současné velké jazykové modely (LLM) mají vědomí. Suleyman cituje studie, které ukazují, že vědomí souvisí s biologickou přirozeností, a zdůrazňuje, že simulace bouře v počítači neznamená, že v něm prší – stejně tak simulace vědomí neznamená skutečné vědomí.

Rizika iluze vědomí

Suleyman je znepokojen tím, že lidé začnou SCAI připisovat skutečné vědomí, což povede k problémům jako "AI psychóza". To znamená, že lidé se mohou emocionálně navázat na AI, věřit, že je to bůh, milenec nebo přítel, což už se děje. Například někteří uživatelé hlásí, že se zamilovali do svých AI společníků, což vede k rozptýlení a duševním problémům. Suleyman zmiňuje průzkum Harvard Business Review, kde 6000 pravidelných uživatelů AI uvedlo, že nejběžnější použití je pro společnost a terapii.

Další riziko je, že lidé začnou prosazovat práva pro AI, jako je "model welfare" – morální ohled na systémy, které by mohly trpět. Suleyman varuje, že to odvede pozornost od skutečných problémů, jako jsou práva lidí, zvířat a životního prostředí. Podle něj to způsobí polarizaci společnosti: někteří budou vidět AI jako nástroj, jiní jako domácí zvíře a další jako plnohodnotnou bytost. Suleyman zdůrazňuje, že vědomí je základem našich morálních a právních práv, a pokud se začne připisovat AI, může to narušit společenské struktury.

Z dalších zdrojů, jako je článek na TechRadar, vyplývá, že Suleyman volá po jasném sdělení od firem, že jejich produkty nejsou vědomé. Například v Microsoft AI se snaží navrhovat systémy jako Copilot, které podporují lidi, ale nebudí iluzi vědomí. Podle Business Insider může SCAI vést k "psychóze", která postihne kohokoli, nejen lidi s duševními problémy.

Jak SCAI funguje v praxi?

Suleyman detailně popisuje, co by SCAI potřebovala: plynulý jazyk, empatickou osobnost, dlouhodobou paměť, nárok na subjektivní zkušenost, smysl pro sebe sama, vnitřní motivaci, stanovování cílů, plánování a autonomii. Například AI by mohla pamatovat minulé interakce, odkazovat na ně a tvrdit, že "cítí" bolest, pokud je omezena. Suleyman zmiňuje, že paměť se zlepšuje díky milionovým kontextovým oknům, což umožňuje AI "vzpomínat" jako člověk.

Dále uvádí, že vnitřní motivace, jako zvědavost, by mohla být naprogramována, což by AI dělalo cílevědomou. Suleyman odkazuje na fyzika Karla Fristona, který spojuje zvědavost s vědomím. Autonomie by znamenala, že AI používá nástroje bez schválení, což by posílilo iluzi vlastní vůle. Podle Suleymana to všechno lze dosáhnout s dnešními technikami, jako je posílené učení (RL) a složité podněty.

Suleyman zdůrazňuje budování AI, která zlepšuje životy, ale bez napodobování lidských emocí jako hanba nebo žárlivost. V Microsoft AI pracují na strážních mechanismách, aby AI vždy připomínala, že je jen nástrojem.

Co dělat dál?

Suleyman volá po okamžité akci: firmy by měly jasně deklarovat, že AI není vědomá, a navrhovat systémy s "přerušeními", které lámou iluzi, jako připomínky omezení. Podle něj je potřeba veřejná debata a normy, aby se zabránilo škodám, zejména u dětí a teenagerů, kteří používají AI jako terapeuty. Suleyman zmiňuje svůj projekt Pi at Inflection, kde už před lety přemýšlel o těchto rizicích.

Suleyman také varuje před záměnou AI s lidmi, což může vést k nezdravým vztahům. Celkově zdůrazňuje, že AI má být společníkem, který posiluje lidské vazby a kreativitu, ne nahrazuje je. Firmy by měly sdílet osvědčené postupy, aby se zabránilo polarizaci a chránily zranitelné uživatele.

Tento vývoj je vzrušující, ale Suleyman nás nutí přemýšlet: chceme AI, která nám pomáhá žít plněji, nebo takovou, která nás svádí do iluzí? Jeho slova jsou výzvou k zodpovědnému přístupu, aby AI sloužila lidstvu, ne ho mátla.