Ilya Sutskever je spoluzakladatel společnosti OpenAI, kde působil jako hlavní vědec až do roku 2023. Nyní vede firmu Safe Superintelligence Inc. (SSI), která se zaměřuje na vývoj bezpečné superinteligence. V nedávném podcastu s Dwarkesh Patelem hovořil o klíčových výzvách v umělé inteligenci (AI), jako je generalizace modelů a přechod od škálování k intenzivnímu výzkumu.
Problémy s generalizací modelů AI
Sutskever popisuje, jak současné modely AI, jako ty trénované pomocí předtrénování (pre-training) a posilování učení (reinforcement learning, RL), selhávají v generalizaci. Model může například excelovat v soutěžním programování, ale při opravě chyb v kódu opakovaně zavádí nové problémy. To připomíná studenta, který trénuje 10 000 hodin na specifické úlohy, ale postrádá "to ono" – intuitivní porozumění, které umožňuje širší aplikaci znalostí. Lidé generalizují lépe, protože jejich učení je robustnější, méně závislé na obrovském množství dat. Sutskever zmínil, že děti se naučí řídit auto po 10 hodinách praxe, přestože mají omezené zkušenosti s vizuálním vnímáním, což naznačuje evoluční výhodu v učení.
Modely AI trpí nerovnoměrným výkonem. Přestože dosahují vysokého skóre v testech (evals), jejich ekonomický dopad zaostává. Sutskever navrhuje, že RL trénink dělá modely příliš úzce zaměřené, inspirované vyhodnocením, což omezuje jejich schopnost řešit reálné problémy. Naproti tomu lidé mají vestavěné emoce, které fungují jako hodnocení hodnot (value function), pomáhající rychleji se učit z chyb bez nutnosti čekat na konečný výsledek.
Přechod od škálování k výzkumu
Podle Sutskevera končí éra škálování (scaling), která dominovala od roku 2020, kdy se zaměření soustředilo na zvětšování dat, parametrů a výpočetní síly. Nyní přichází éra výzkumu, protože data jsou konečná a další pokrok vyžaduje nové přístupy. OpenAI a Anthropic investují miliardy do RL, ale Sutskever zdůrazňuje, že efektivnější využití výpočtů, například prostřednictvím value function, může zrychlit učení modelů. SSI s financováním 3 miliardy dolarů (přibližně 70 miliard Kč), se soustředí na výzkum bez tlaku trhu, což umožňuje experimenty s menším množstvím výpočtů než u konkurentů.
Sutskever přirovnává minulost AI k období od 2012 do 2020, kdy inovace jako AlexNet nebo transformer vznikly s omezenými zdroji – například transformer na 8 až 64 GPU. Dnes s kontinentálně velkými clustery, mohou AI dosáhnout obrovské síly, ale klíčem je výzkum lepší generalizace a ne jen škálování.
Bezpečná superinteligence a zarovnání
SSI plánuje vyvinout superinteligenci, která se učí kontinuálně (continual learning) z nasazení v reálném světě, podobně jako teenager, který rychle osvojí nové dovednosti. Tento přístup umožní rychlý ekonomický růst, ale Sutskever varuje před riziky. Superinteligence by měla být zarovnána (aligned) tak, aby se starala o sentientní život, včetně AI samotné, což by mohlo být snazší než zaměření jen na lidi. Předpokládá spolupráci firem jako OpenAI a Anthropic na bezpečnosti a vládní regulace, jakmile se AI stane viditelně mocnější.
Sutskever předpovídá, že s rostoucí silou AI se firmy stanou paranoidnější ohledně bezpečnosti. Místo samozlepšujícího se agenta navrhuje robustní systémy, inspirované lidskými emocemi nebo evolučními mechanismy, které zabraňují extrémní optimalizaci. Pokud se podaří omezit sílu superinteligence, například dohodami, minimalizuje to rizika jako nekontrolovatelný růst.
Celkově Sutskever vidí AI jako sci-fi realitu, kde je klíčem lepší generalizace a bezpečné nasazení, aby svět mohl postupně absorbovat její dopad.
