Přední společnosti zabývající se umělou inteligencí začaly používat vlastní AI systémy k urychlení výzkumu a vývoje. Každá nová generace AI modelů tak přispívá k vytváření generace následující. Podle nové zprávy Centra pro bezpečnost a vznikající technologie (CSET) na Georgetown University, tato praxe roste a nové modely jsou často používány interně ještě před tím, než jsou zveřejněny.
CEO společnosti DeepMind Demis Hassabis během rozhovoru na Axios House Davos potvrdil, že Google aktivně zkoumá, zda modely mohou "pokračovat v učení ve volné přírodě poté, co dokončíte jejich trénink". CEO OpenAI Sam Altman v loňském roce během živého vysílání uvedl, že OpenAI vybuduje "skutečného automatizovaného AI výzkumníka" do března 2028.
Rekurzivní sebezdokonalování je klíčové
Technický název pro tento přístup je "rekurzivní sebezdokonalování" a je považován za klíčovou techniku, která může udržet rychlý pokrok AI. Richard Socher, CEO společnosti You.com, zakládá nový startup zaměřený právě na tuto oblast. Startup získává stovky milionů dolarů ve financování, které by mohlo společnost ocenit na přibližně 108 miliard korun.
"AI je kód a AI umí kódovat," řekl Socher. "A pokud dokážete tento cyklus správně uzavřít, mohli byste vlastně automatizovat vědeckou metodu, abyste v podstatě pomohli lidstvu."
Využití vlastních systémů
Zpráva CSET odhaluje, že technický personál ve špičkových AI společnostech tráví velkou část svého času používáním AI nástrojů k asistenci při práci. Společnost Anthropic ve svých veřejných materiálech popisuje intenzivní využití AI nástrojů svými technickými týmy. "Noví datoví vědci v našem týmu Infrastructure předávají Claude Code celou svou kódovou základnu, aby se rychle stali produktivními. Claude čte soubory CLAUDE.md kódové základny, identifikuje relevantní, vysvětluje závislosti datových pipeline a ukazuje, které upstream zdroje se napojují do dashboardů," uvádí Anthropic.
Během incidentů tým bezpečnostního inženýrství předává Claude Code trasování zásobníku a dokumentaci pro sledování toku řízení kódovou základnou. Problémy, které obvykle trvají 10-15 minut manuálního skenování, se nyní řeší třikrát rychleji.
CSET v červenci 2025 uspořádal expertní workshop, který přivedl dohromady účastníky z předních AI společností, vlády, akademické sféry a občanské společnosti. Workshop odhalil zásadní rozpory v názorech expertů na budoucnost automatizace AI výzkumu. Některé názory očekávají rychlý pokrok směrem k vysokému stupni automatizace a velmi pokročilým schopnostem, zatímco jiné očekávají pomalejší pokrok, který dosáhne svého stropu mnohem dříve. Zpráva identifikuje několik možných scénářů, od "exploze inteligence" až po situaci, kdy automatizace narazí na nepřekonatelné překážky.
Hlavní rizika
Zpráva CSET identifikuje dva hlavní způsoby, jak by rostoucí automatizace AI výzkumu mohla zvýšit společenská rizika. Za prvé, snížením lidské schopnosti porozumět a kontrolovat AI výzkum. Za druhé, snížením času pro lidi navigovat se rychle zlepšujícími schopnostmi AI.
Jak AI hraje větší roli ve výzkumných pracovních postupech, lidský dohled nad procesy AI výzkumu by pravděpodobně klesal. Pokud by AI systémy významně přispívaly k AI výzkumu, výzkumný proces by pravděpodobně produkoval méně výstupů srozumitelných pro člověka s menším časem na lidské přezkoumání. Rychlejší pokrok AI vyplývající z automatizace AI výzkumu by ztížil lidem včetně výzkumníků, vedoucích pracovníků, tvůrců politik a veřejnosti všimnout si, porozumět a zasáhnout, jak AI systémy vyvíjejí stále působivější schopnosti.
Zpráva CSET zdůrazňuje, že tvůrci politik v současnosti postrádají spolehlivou viditelnost do automatizace AI výzkumu a jsou příliš závislí na dobrovolných zveřejněních od společností. Autoři navrhují lepší transparentnost, cílené reportování a aktualizované bezpečnostní rámce, přičemž varují, že špatně navržené mandáty by mohly mít opačný efekt. V současnosti je kdokoli se zájmem o přístup k empirickým důkazům o automatizaci AI výzkumu silně závislý na dobrovolných zveřejněních informací od předních AI společností. Zatímco společnosti se rozhodují zveřejnit některá data relevantní pro automatizaci AI výzkumu, bývají neúplná.
Varování před civilizačními riziky
CEO společnosti Anthropic Dario Amodei ve 38stránkové eseji varuje před bezprostředním "skutečným nebezpečím", že nadlidská inteligence způsobí škody na úrovni civilizace bez chytré a rychlé intervence. "Věřím, že vstupujeme do přechodového rituálu, jak bouřlivého, tak nevyhnutelného, který prověří, kdo jsme jako druh," píše Amodei. "Lidstvu se chystá dostat téměř nepředstavitelná moc a je hluboce nejasné, zda naše sociální, politické a technologické systémy mají zralost ji ovládat."
Přestože experti nesouhlasí, v pravděpodobnosti jsou možné scénáře, ve kterých se AI výzkum stane vysoce automatizovaným, tempo AI výzkumu se dramaticky zrychlí a výsledné systémy představují extrémní rizika. To vyžaduje preventivní opatření již nyní.
