Demis Hassabis, spoluzakladatel a ředitel Google DeepMind a čerstvý držitel Nobelovy ceny, zveřejnil na svém Substacku esej, ve které tvrdí jednu odvážnou věc. Obecná umělá inteligence, tedy systém se všemi rozumovými schopnostmi lidského mozku, je podle něj nejspíš vzdálená jen pár let. Popisuje ji jako přelom, který se nedá srovnávat s internetem ani s mobilními telefony. Přirovnává ho spíš k objevu ohně nebo elektřiny. A hned dodává, že právě teď se rozhoduje, jestli z toho lidstvo vytěží to nejlepší, nebo si zadělá na problém.
Jeho text má dva pohledy. Jeden nadšený a druhý znepokojený. Pojďme oba rozebrat.
Nadšení: technologie, která podle něj předčí průmyslovou revoluci
Hassabis odhaduje, že tahle technologie zasáhne svět asi desetkrát silněji než průmyslová revoluce, a to v desetkrát kratším čase. Slavně to shrnul větou, že jsme v podstatě přišli na způsob, jak přimět písek myslet, a označil to za zázrak.
Konkrétní přínosy vidí ve vědě a medicíně. Umělá inteligence by měla zrychlit vývoj léků, pomoct s novými zdroji čisté energie a přinést pokročilé materiály. Také naznačuje svět, kde zdroje přestanou být brzdou lidského pokroku, tedy jakousi éru hojnosti. Celý život na obecné umělé inteligenci pracuje právě proto, že věří v její prospěšnost, pokud se postaví a nasadí zodpovědně. To „pokud" je ale u něj pořádně velké.
Co ho trápí: závod, kterému nikdo pořádně nerozumí
Na druhou stranu Hassabis píše, že svět uvízl v mimořádně vypjatém obchodním i geopolitickém závodě. A přestože tenhle tlak žene pokrok kupředu, má to háček. Vývoj na špičce oboru předbíhá naše porozumění samotné technologii. Otevřeně přiznává, že nikdo na světě neví jistě, co bude dál. Neshodnou se na tom ani experti. A když je nejistota takhle velká a v sázce je tolik, doporučuje jediný rozumný postup, opatrný optimismus.
Znepokojují ho hlavně bezpečnostní hrozby, které mohou přijít s tím, jak se schopnosti modelů zvyšují. Už teď podle něj vidíme problémy s kyberbezpečností, na obzoru se mohou objevit rizika spojená s jadernou i biologickou oblastí. Zvlášť ho zaměstnává představa systémů, které jednají samostatně a dokážou vylepšovat samy sebe. U takových systémů bude potřeba udržet kontrolu a řešit potíže, které se ukážou až časem.
Jeho hlavní výtka směřuje na nás všechny. Jako obor i jako společnost si prý zatím nedáváme čas a prostor, abychom ten další zásadní krok udělali správně.
Jeho recept: nový úřad podle vzoru dohledu nad burzou
Hassabis přichází s návrhem. Chce nový přístup k testování schopností špičkových modelů, který bude pružný a přísný zároveň. První krok by podle něj měly udělat Spojené státy, protože na to mají ekonomické i technické předpoklady.
Navrhuje zřídit úřad pro standardy. Jako předlohu uvádí FINRA, americkou organizaci pro dohled nad finančním sektorem, tedy partnerství veřejného a soukromého sektoru pod federálním dohledem. V jeho vedení by seděli nezávislí techničtí odborníci i zástupci komunity kolem otevřených modelů. Financování by muselo být štědré a přišlo by převážně od firem, aby úřad přilákal špičkové techniky a zaplatil obří výpočetní kapacitu na rozsáhlé testování.
Jak by měl takový úřad reálně fungovat? Model by získal označení „hraniční třídy", pokud by splnil určité prahové hodnoty na sadě testů, které by úřad pravidelně obměňoval. Firmy s takovými modely by se staly „hraničními laboratořemi" a měly by dodržovat osvědčené postupy, mezi něž patří zveřejňování technických karet modelů, silná vnitřní kyberbezpečnost, prověřování klíčových lidí a dostatek prostředků na výzkum bezpečnosti.
Začátek by byl dobrovolný. Laboratoře by úřadu poskytly modely k prověření nejpozději třicet dní před vydáním. Jakmile by se postup osvědčil, mohl by rychle dostat na vážnosti, takže by hraniční model musel testy projít, aby se vůbec dostal na americký trh.
Co přesně by se testovalo
Prověrky by měly zahrnovat důkladné vědecké hodnocení schopností v kyberbezpečnosti, u biologických hrozeb a v dalších vysoce rizikových oblastech. U samostatně jednajících systémů by testy hledaly pokusy obejít bezpečnostní pojistky nebo známky klamání.
Mezi osvědčenými postupy jmenuje digitální vodoznaky u obrázků vytvořených umělou inteligencí a výstupy v podobě, které člověk rozumí, aby šlo sledovat, jak model uvažuje. Testy by se obměňovaly, na začátku snad čtvrtletně, zastaralé nebo prolomené by se nahrazovaly novými.
Časem by měl úřad umět vytvářet vlastní tajné testy nezávisle na laboratořích, aby si na ně modely nemohly předem zvyknout. Kolem toho by mohl vzniknout okruh nezávislých auditorů třetích stran.
Pojistka pro nejhorší scénář
Hassabis píše, že celý systém by mohl v případě potřeby přitvrdit. Kdyby to vážnost situace vyžadovala, úřad by mohl mezi hraničními laboratořemi zkoordinovat i zpomalení vývoje. To je od šéfa jedné z nejrychleji postupujících laboratoří nezvyklé vyjádření.
Pravidla by přitom platila spravedlivě pro všechny. Vztahovala by se na hraniční modely bez ohledu na zemi původu a bez ohledu na to, jestli jsou otevřené nebo uzavřené. Menší modely od startupů nebo z akademické půdy by byly z procesu vyňaté. Americkou snahu bere Hassabis jako odrazový bod. Doufá, že podnítí mezinárodní shodu na tom, jak zvládat ta nejzávažnější rizika.
Otázky, na které technici sami nestačí
V závěru eseje Hassabis přiznává, že vyřešit technická úskalí nebude stačit. Čekají nás prý složité ekonomické a filozofické otázky. Jaké nové hospodářské modely bude svět potřebovat? Podle čeho budeme žít, kde budeme hledat smysl a jak se možná promění samotný lidský úděl?
Na tyhle otázky podle něj nesmí odpovídat jen technologové. Vyžaduje to zapojení všech částí společnosti. A přidává větu, ve které je slyšet celý smysl jeho textu. Budoucnost prý ještě není napsaná a to malé okno, které nám do příchodu AGI zbývá, musíme využít k tomu, abychom technologii nasměrovali ku prospěchu všech.
