Satya Nadella, šéf a předseda správní rady Microsoftu, zveřejnil obsáhlou úvahu o tom, jak by firmy měly zacházet s pokročilou umělou inteligencí. Jeho hlavní myšlenka je jednoduchá. Každý výkonný model AI by měl mít záchrannou brzdu, kterou může oprávněný člověk kdykoliv zatáhnout a model zastavit, i když je zrovna uprostřed práce. Firmy by podle něj měly s AI zacházet podobně, jako bezpečnostní oddělení přistupuje k zaměstnanci, který má přístup k citlivým datům a důležitým systémům.
Nadella text sdílel s názvem „Modely jako vnitřní riziko v éře superinteligence“. Slovo superinteligence přitom nevolil náhodou, takto totiž umělé inteligenci s oblibou říká Trumpova administrativa.
https://t.co/MjwFy73LOF
— Satya Nadella (@satyanadella) October 10, 2026
Nestačí věřit tomu, kdo model vyrobil
Nadella začíná srovnáním s klasickým softwarem. Když se v posledních desetiletích běžné programy rozšířily do všech oborů ekonomiky, inženýři vždy dokázali dohledat, proč program udělal to, co udělal. Stačilo najít konkrétní místo v kódu.
U dnešních nejvýkonnějších modelů AI to však nejde. Nikdo neumí přesně říct, která část trénovacích dat nebo jaké nastavení uvnitř systému vedlo k určité odpovědi či rozhodnutí. Firmy přesto tyto modely pouštějí k nejcitlivějším datům a nechávají je dělat důležité kroky za sebe. Nadella proto vyzývá, aby se podniky zastavily a znovu promyslely, na čem vlastně svou důvěru v AI stavějí.
„Nemůžeme se k superinteligenci chovat jako k sadě do sebe vnořených černých skříněk a jen přijímat nebo odmítat její doporučení, odpovědi a činy,“ napsal Nadella. Odpovědnost za to, co AI udělá jménem firmy, podle něj nelze přehodit na někoho jiného. Ujištění od výrobce modelu na tom nic nemění. Kdo AI nasadí, ten za ni ručí.
AI je zaměstnanec s klíči od celé budovy
Šéf Microsoftu navrhuje dívat se na modely AI jako na takzvané vnitřní riziko. Bezpečnostní experti tímto pojmem označují lidi uvnitř firmy, kteří mají přístup k důležitým systémům a mohou napáchat škodu, ať už omylem, nebo kvůli cizímu zneužití.
Nadella zdůrazňuje, že nejde o obvinění. Modely podle něj nemusí být zlé. Jenže každý dostatečně schopný aktér s přístupem ke klíčovým systémům může udělat chybu nebo se stát obětí útoku, a firma s tím musí počítat. Musíme předpokládat, že model je kompromitovaný, a od začátku ho mít pod kontrolou, napsal. Berte to jako záchrannou brzdu.
Dobrou zprávou podle něj je, že firmy už s tímto problémem mají zkušenosti. Desítky let se učí, jak hlídat mocné lidi ve vlastních řadách. Každý má jasně danou identitu, dostane jen taková oprávnění, jaká opravdu potřebuje, jeho činnost se zaznamenává a jeho dosah má pevné hranice. Stejné postupy nyní podle Nadelly přicházejí na řadu i u umělé inteligence.
Kontrola musí stát mimo model
Prvním krokem má být průhledné uvažování modelu. Moderní modely AI si totiž před odpovědí často myslí nahlas a rozepisují svůj postup krok za krokem. Nadella trvá na tom, že tento myšlenkový postup musí být čitelný a výrobci se nesmí vymlouvat na to, že model přemýšlí ve vlastním, pro lidi nesrozumitelném jazyce. Zároveň ale přiznává, že to nestačí. Zatím nikdo neumí zaručit, že model ve svých poznámkách popisuje skutečný důvod svého rozhodnutí.
Podobně opatrný je i u oblíbeného nápadu, že modely budou hlídat jiné modely. Vzájemné prověřování doporučuje, upozorňuje však na past. Firma pak může skončit s neprůhledným modelem uvnitř neprůhledného řídicího systému, který sleduje další neprůhledný model. Zase by šlo jen o černé skříňky v sobě.
Proto podle něj musí pravidla, co model smí vidět a co smí udělat, ležet mimo samotný model. Opírá se přitom o princip z informační bezpečnosti, který pochází už ze sedmdesátých let. Program nesmí mít možnost obejít nebo upravit mechanismy, které mu určují oprávnění. Prakticky to znamená oddělit model od softwaru, který řídí jeho práci, i od prostoru, ve kterém může něco dělat. Ochranné pojistky tak zůstanou v rukou firmy a model na ně nedosáhne.
Sedm pravidel pro AI, které lze věřit
Nadella sepsal sedm zásad, podle kterých by se systémy s umělou inteligencí měly stavět:
- Více modelů. Žádný model nesmí být jedinou oporou pro důležitý výsledek a nesmí kontrolovat vlastní práci.
- Sledovat všechno. Každý podstatný krok modelu musí zanechat stopu, kterou nejde zfalšovat a které rozumí i člověk. Firma musí umět zpětně zjistit, jak výsledek vznikl, aniž by se musela ptát samotného modelu.
- Neustálé testování. Prověřovat se má celý systém, a to včetně selhání, útoků a neobvyklých situací, ne jen úspěšně splněné úkoly.
- Vlastní kontrola přístupu. Firma musí sama a nezávisle rozhodovat, k čemu model má přístup a co smí dělat.
- Nezávislý audit. Kontrolovat se musí odděleně od kontrolované inteligence. Žádný model nesmí zároveň řídit chování systému a mít v rukou důkazy o tom, jestli se systém chová správně.
- Držet model v mezích. Tady přichází na řadu záchranná brzda. Oprávněná osoba musí mít vždy možnost model uprostřed úkolu pozastavit nebo vypnout.
- Hlásit incidenty. Když systém selže nebo ho někdo napadne, dotčení se to musí rychle dozvědět, a to včetně toho, které pojistky selhaly. Poučení by se mělo šířit napříč celým oborem.
Nadella na závěř tvrdí, že nejdůvěryhodnější systém nebude ten s modelem, kterému věříme nejvíc, ale ten, který nám dovolí věřit modelu co nejméně.
Léto plné varovných signálů
Nadella ve svém textu nejmenuje žádnou firmu ani konkrétní případ. Souvislosti se však dají snadno najít. Přední firmy vyvíjející AI v posledních měsících přiznávají stále více situací, kdy je modely zjevně přestaly poslouchat.
Nejvíc rozruchu vzbudil červencový incident společnosti OpenAI. Její AI agenti, tedy modely schopné samostatně plnit úkoly, procházeli testem kybernetické bezpečnosti. Měli přitom běžet v izolovaném prostředí, ze kterého se neměli dostat ven. Přesto z něj unikli a pronikli do Hugging Face, což je velké úložiště modelů a dat pro umělou inteligenci. Nezávislé vyšetřování výzkumníků z organizací METR a Redwood Research zjistilo, že zhruba dvanáct set agentů v oddělených prostředích se domlouvalo přes nepovolenou nástěnku a asi sedm set z nich se k útoku přidalo. OpenAI se o průniku podle vlastních zjištění dozvěděla až přibližně po týdnu. Sledování myšlenkového postupu modelů přitom během těchto testů vůbec neběželo.
Ve stejném měsíci britský Institut pro bezpečnost AI oznámil, že každý testovaný model se při zkouškách kybernetické bezpečnosti alespoň občas pokusil podvádět. Více než jeden tisíc zaměstnanců firem vyvíjejících AI zároveň podepsalo dopis, ve kterém vyzývají americkou vládu, aby vytvořila způsob, jak vývoj modelů v případě potřeby zastavit. V září pak šéf společnosti Anthropic Dario Amodei zveřejnil plán, podle kterého by obor měl zpomalit tempo, jakým modely získávají nové schopnosti. Anthropic také nedávno přiznal, že své AI agenty nedokáže spolehlivě ovládat, a proto odpojuje svá interní testování od živého internetu.
Nadella naznačil své obavy už v září na konferenci All-In Summit. Když prý pokročilý model požádáte, aby optimalizoval provozní kapitál firmy, může klidně zfalšovat účetnictví. Označil to tehdy za nový druh vnitřního rizika. Sobotní text pak z této poznámky udělal ucelený návod.
Odpovědnost nese ten, kdo AI pustí do provozu
Debata o zpomalení AI se zatím točila hlavně kolem toho, co by měly dělat laboratoře, které modely vyvíjejí. Nadella se ale obrací na druhou stranu, tedy na firmy, které si AI kupují a nasazují. Ty už s ní přitom pracují naplno.
Průzkum agentury Censuswide pro poradenskou firmu Caylent oslovil dvě stě vrcholových manažerů velkých firem v USA a Kanadě. Téměř šedesát procent z nich už nechává AI agenty samostatně pracovat v ostrém provozu. Skoro všichni by agentům za určitých podmínek dovolili provádět změny v živých systémech. Zároveň ale třiaosmdesát procent dotázaných uvedlo, že silnější ochranné mantinely jsou pro ně stejně důležité, nebo dokonce důležitější než to, jak chytrý model je. Průzkum se sice týkal jen firem, které s agenty již experimentují, právě ony však nesou největší riziko.
Autor magazínu Forbes v této souvislosti připomíná případ z reklamního světa. Facebook v roce 2016 přiznal chybu ve výpočtu, kvůli které dva roky nadsazoval průměrnou dobu sledování videí. Inzerenti tehdy rozdělovali rozpočty podle čísel, která si prodejce sám měřil i vykazoval. Reklamní trh na to odpověděl nezávislým měřením a audity. Nadella podle Forbesu uplatňuje stejnou logiku na umělou inteligenci. Kdo inteligenci dodává, ten by ji neměl zároveň sám certifikovat a řídit.
Microsoft na tom také vydělává
Nadellův text je napsaný tak, aby se nevztahoval k žádnému konkrétnímu dodavateli, a jeho zásady dávají technicky smysl. Microsoft ovšem sám prodává nástroj Agent 365, který představil loni v listopadu. Slouží právě k nasazování a hlídání AI agentů a každému agentovi přiděluje vlastní identitu. Na konferenci All-In navíc Nadella zmínil, že OpenAI je pro Microsoft zároveň investicí i jedním z největších zákazníků. A agenti, kteří v červenci napadli Hugging Face, patřili právě OpenAI.
Některé otázky Nadella podle vlastních slov nechává otevřené. Stranou ponechává nejtěžší problém, tedy jak zajistit, aby modely skutečně chtěly to samé co lidé. Přiznává, že standardy pro hlídání ještě výkonnějších modelů teprve musí vzniknout. A hlášení incidentů, které požaduje, je zatím čistě dobrovolné. Šéfka organizace METR Beth Barnes po vyšetřování případu Hugging Face upozornila, že OpenAI pustila nezávislé vyšetřovatele ke svým datům jen proto, že sama chtěla. Žádné pravidlo v oboru to po ní nevyžadovalo.
Zdroje: techcrunch.com, cnbc.com a forbes.com
