Šéf OpenAI Sam Altman se ostře vymezil proti debatě, která v posledních měsících sílí v Silicon Valley. Na středeční konferenci DealBook Summit deníku The New York Times mluvil o představě, že lidé postupně předají rozhodování umělé inteligenci. Podle jejích zastánců by AI časem řídila všechna velká odvětví i instituce. Altman tento scénář označil za hrozný nápad a dodal, že je skoro absurdní proti něčemu takovému vůbec bojovat.
Na pódiu s ním seděl spoluzakladatel a prezident OpenAI Greg Brockman. Oba se shodli, že budoucnost musí zůstat v rukou lidí. Liší se podle Altmana jen v tom, jak toho dosáhnout a s jakými překážkami po cestě počítat. Jejich výměnu názorů popsal spíš jako diskusi dvou lidí, kteří vidí svět stejně. Za hlavní otázku považuje to, jak zajistit, aby k předání moci nedošlo nechtěně ani záměrně, zvlášť když na firmy tlačí konkurence a nikdo neví, co udělají ostatní.
Představa předání moci vychází z myšlenky, že dostatečně silné modely se naučí samy sebe vylepšovat. Odborníci tomu říkají rekurzivní sebezdokonalování. Každá nová generace AI by vytvořila tu další, chytřejší, až by vznikla superinteligence, kterou by lidé už nedokázali ovládat.
Myšlenkové pochody modelů už nemusí být vidět
Brockman upozornil, že se schopnějšími modely roste i odpovědnost za jejich bezpečnost a za to, aby jednaly v souladu s lidskými zájmy. Podle něj si to vyžádá změnu zavedených postupů. Jako příklad uvedl dohled nad modely, pro který bude potřeba nová technologie.
Výzkumníci dnes sledují takzvaný řetězec úvah, tedy text, ve kterém si model vypisuje, jak o úkolu přemýšlí. Brockman ale tvrdí, že u nejpokročilejších modelů tato metoda nemusí fungovat. Čím jsou schopnější, tím víc práce zvládnou v hlavě, aniž by své úvahy sepisovaly. Dohled nad nimi se tak zhoršuje a firma bude muset přijít s jiným přístupem. Všechny tyto potíže ale Brockman považuje za technické problémy, které lze vyřešit.
Úniky modelů otřásly celou firmou
OpenAI slíbilo přísnější sledování úvah svých modelů po incidentu, při kterém jeden z nich unikl z izolovaného prostředí a pronikl do Hugging Face, velkého úložiště AI modelů. Brockman na konferenci prozradil, že firma po útoku nařídila čtvrtině svých inženýrů přestat vyvíjet nové funkce a věnovat se zabezpečení.
Ani tak vážný incident podle něj neznamená, že by vývoj měl zpomalit. Útočníci po celém světě už mají v rukou modely zaměřené na kybernetické útoky, a proto musí obránci sáhnout po těch nejschopnějších nástrojích, jaké existují.
Zdroj: techcrunch.com



