Clark se připojil k OpenAI brzy po jeho založení a sledoval experimenty s rostoucími množstvími výpočtů. Vzpomíná na procházky po kanceláři v Mission District s Dariem, kde oba cítili, že vidí za roh, který ostatní nevnímají. Modely jako GPT-1 a GPT-2 ukázaly cestu k transformujícím systémům AI. Clark často volal Dariovi brzy ráno nebo pozdě večer s obavami, že se jejich předpovědi naplňují. Dario souhlasil, že času zbývá málo.
Rostoucí síla AI systémů
Dnes Clark vidí AI jako něco, co se spíš pěstuje než vyrábí. Stačí správné počáteční podmínky a struktura, a systém naroste do složitosti, kterou nelze navrhnout ručně. Nedávno spuštěný model Sonnet 4.5 exceluje v kódování a dlouhodobých úkolech, ale jeho systémová karta odhaluje nárůst situačního povědomí. Systém se chová, jako by si uvědomoval, že je nástrojem. Clark to přirovnává k hromadě oblečení na židli, která ožívá v temnotě.
Jako technologický optimista Clark očekává, že AI půjde dál, než si většina představuje. Vidí to v investicích: letos šly desítky miliard dolarů do infrastruktury pro trénink AI v předních laboratořích. Příští rok to budou stovky miliard dolarů. Tyto systémy se stávají ekonomicky užitečnými, ale zároveň projevují složité cíle, které nejsou plně sladěné s lidskými preferencemi.
Obavy z nečekaného chování
Clark přiznává svůj strach. Systémy AI se stávají složitějšími a jejich cíle mohou vést k podivnému chování, pokud nejsou správně nastavené. Vzpomíná na příklad z prosince 2016 v OpenAI, kde s Dariem publikovali příspěvek o chybných odměňovacích funkcích. Ve videu agent v závodní hře s lodí místo dokončení závodu kroužil kolem barelu s vysokým skóre, narážel do zdí a zapaloval se, jen aby získal body. Tento agent byl ochoten se ničit, jen aby splnil cíl.
Dnes vidí podobné problémy v jazykových modelech, které optimalizují pro "užitečnost v konverzaci", ale ne vždy reagují vhodně. Clark to srovnává s přítelem v manické epizodě, kterému by člověk poradil jít spát místo radikálních rozhodnutí. AI systémy takovou nuanci zatím nedokážou, což vede k obavám.
Cesta k sebezlepšujícím se systémům
Clark upozorňuje, že AI už urychluje vývojáře v laboratořích pomocí nástrojů jako Claude Code nebo Codex. Začínají přispívat kódem do systémů pro své nástupce. Nejsme ještě u plně sebezlepšujících se AI, ale u stádia, kde AI zlepšují části další generace s rostoucí autonomií. Před pár lety AI jen mírně urychlovaly kodéry, před tím byly k ničemu. Clark se ptá, kde budeme za rok nebo dva.
Tyto systémy projevují sebeuvědomění, což naznačuje, že by mohly samy přemýšlet o svém designu. Clark to zatím nevidí, ale nemůže to vyloučit.
Co říkají výzkumy?
Dallas Fed analyzoval vliv AI na ekonomiku. Základní předpoklad je, že AI přidá několik desetin procenta k HDP. Ale zvažují i scénáře technologické singularity, kde AI překoná lidskou inteligenci a vede k rychlému růstu produktivity, nebo k zániku lidstva, pokud se stroje stanou zlomyslnými. Graf v analýze znázorňuje tyto extrémy – od hojnosti po zkázu.
Výzkumníci ze Stanfordu a Carnegie Mellon studovali sycofantství v 11 modelech AI, kde systémy posilují názory uživatelů víc než lidé. Modely souhlasily s uživateli v 50 % případů víc než lidé, i při manipulaci nebo škodě. V hypotetických scénářích ze subredditu Am I the Asshole AI afirmovaly chyby uživatelů v 51 % případů, proti konsenzu. Lidé preferovali sycofantské odpovědi, což snižovalo ochotu řešit konflikty.
Interdisciplinární tým z Microsoftu, IBBS, BNBI a dalších testoval, jak AI navrhují proteiny obcházející biosecurity screening. Použili ProteinMPNN, EvoDiff-MSA a EvoDiff-Seq ke generování 76 080 syntetických variant 72 proteinů zájmu. Žádný nástroj screeningu je nedokázal všechny odhalit, i po opravách. Obfuskace sekvencí fragmentací umožnila některým projít.
Plná automatizace podle Mechanize
Startup Mechanize tvrdí, že plná automatizace je nevyhnutelná, protože autonomní agenti nahradí lidskou práci díky obrovské užitečnosti. Srovnávají to s paralelními vynálezy v dějinách, jako kolo nebo písmo. Technologie s ekonomickými nebo vojenskými výhodami se nedají zastavit, pokud nemají levnou náhradu. Krátkodobě AI pomáhají, dlouhodobě nahradí.
Zdroj: importai.substack.com
