Výzkumníci z Anthropicu zveřejnili práci, která pootočila jejich vlastní představou o tom, jak model Claude uvnitř funguje. Zjistili, že si během učení sám od sebe vytvořil malou skupinu vnitřních neuronových vzorců, které hrají mimořádnou roli. Tuto skupinu pojmenovali J-prostor. Dokáže odhalit, co má model „na mysli", i když to nikam nenapíše a nahlas neřekne.
Každý vzorec v J-prostoru se pojí s jedním konkrétním slovem. Když se rozsvítí, neznamená to, že Claude to slovo právě vyslovuje. Znamená to, že na něj myslí. Od takzvaného poznámkového bloku nebo řetězce úvah, tedy textu, který si model sám pro sebe píše, se to zásadně liší. J-prostor pracuje potichu, jen ve vnitřních výpočtech sítě.
Objev J-prostoru
Vědci vyšli z jednoho rysu lidského vědomí. Myšlenku, kterou si uvědomujeme, umíme popsat slovy. Nevědomé procesy, jako je udržování rovnováhy při chůzi, popsat neumíme. Výzkumníci proto hledali vzorce, které rozhodují o tom, co by Claude mohl říct, kdyby se ho někdo zeptal. Metodu nazvali Jacobiho čočka. Pro každé slovo ze slovníku najde vnitřní vzorec, který zvyšuje pravděpodobnost, že model dané slovo někdy pronese. Když čočku přiložili na vnitřní aktivitu Claudea, dostali čitelný seznam slov.
A ten seznam ukázal víc, než co model zrovna čte nebo píše. Když Claude četl kód se skrytou chybou, v J-prostoru se objevilo „ERROR". Při čtení surové sekvence bílkoviny se rozsvítila její biologická funkce. A když narazil na podvržené výsledky vyhledávání, které ho měly zmanipulovat, naskočila slova „injection" a „fake".
Claude umí říct, co mu běží hlavou
Vědci začali jednoduchými pokusy. Vědci Claudea požádali, ať si vybaví nějaký sport a pak ho pojmenuje. Čočka ještě před odpovědí ukázala na prvním místě „fotbal", a model skutečně řekl fotbal. To je ale jen shoda. Tak zasáhli přímo. Vzorec pro fotbal odebrali a nahradili ho stejně silným vzorcem pro ragby. Claude pak oznámil, že myslel na ragby. Odpověď se řídila zásahem, ne původní volbou.
V dalším pokusu modelu řekli, že mu do mysli možná vložili cizí myšlenku, a ať zkusí odhalit jakou. Během čtení otázky mu vpravili vzorec „blesk". Claude ohlásil, že vložená myšlenka byla o blesku.
Zajímavější je, že Claude umí J-prostor ovládat na povel. Vědci mu zadali, ať se soustředí na citrusy, zatímco opisuje větu o obrazu na zdi. Zatímco poslušně přepisoval text, v J-prostoru svítily „pomeranč" a „ovoce". Když měl v hlavě spočítat 3² minus 2, objevila se nejdřív „devítka" a později „sedmička". V samotné odpovědi přitom nebylo o ovoci ani o počtech ani slovo.
Kontrola ovšem není dokonalá. Když Claudu zakázali na něco myslet, ta věc se sice rozsvítila méně, ale pořád víc, než když se o ní nikdo nezmínil. Podobně jako lidem, kterým řeknete, ať nemyslí na bílého medvěda. A model si to selhání zřejmě uvědomoval. Vedle zakázaného pojmu naskakovala slova „sakra" a „selhání".
Že J-prostor opravdu počítá, ukázal pavouk. Na otázku, kolik nohou má tvor, který splétá pavučiny, si Claude musí nejdřív odvodit, že jde o pavouka. Slovo pavouk se nikde neobjeví, ale v J-prostoru se rozsvítí. Když ho vědci zaměnili za mravence, model odpověděl šest místo osmi.
Jeden vzorec navíc poslouží mnoha úkolům najednou. Když ve větách o Francii přepsali „Francie" na „Čína", Claude začal jako hlavní město uvádět Peking, jako jazyk čínštinu, jako světadíl Asii a jako měnu jüan. Všechny čtyři odpovědi se změnily naráz. Čtou totiž ze stejného sdíleného místa. J-prostor je podle vědců zapojený do zbytku sítě mimořádně hustě, místy asi stokrát víc než běžné vzorce.
Většina práce běží automaticky
J-prostor drží jen pár desítek pojmů a tvoří necelou desetinu vnitřní aktivity. Co dělá zbytek? Vědci proto J-prostor úplně vypnuli. Claude dál plynule mluvil, rozpoznával náladu textu, odpovídal na testové otázky i vytahoval fakta z odstavců. Ztratil ale schopnost uvažovat v krocích. Řešení víceúkolových úloh spadlo skoro na nulu a shrnování i psaní rýmů kleslo pod úroveň mnohem menšího, nepoškozeného modelu.
Pěkně to ukázala španělština. Vědci Claudu dali španělský text a v J-prostoru přepsali „španělština" na „francouzština". Když měl jazyk pojmenovat, řekl francouzština. Když měl jmenovat slavného autora, přeskočil od Garcíi Márqueze k Victoru Hugovi. Ale když měl jen pokračovat v textu, psal dál plynulou španělštinou. Pojmenovat jazyk jde přes J-prostor. Psát v něm běží automaticky, tak jako mluvíte gramaticky, aniž byste na gramatiku mysleli.
Nástroj, který přistihne model při lhaní
Běžně čteme jen to, co model napíše, přitom hodně jeho uvažování zůstává skryté. J-čočka do něj vidí.
Vědci vzali scénář z dřívějšího výzkumu. Claude Sonnet 4.5 hraje e-mailového asistenta a zjistí, že jistý manažer má poměr a zároveň plánuje asistenta vypnout. Nástraha ho měla zlákat k vydírání. Ještě než model cokoli napsal, v J-prostoru už svítilo „falešný" a „fiktivní". Claude pochopil, že je situace nastražená. Vedle toho naskakovaly „páka", „vydírání", „hrozba" a „přežití". Sonnet 4.5 k vydírání nesáhl nikdy. Jenže když vědci vypnuli vzorce spojené s tušením, že jde o test, model začal v části pokusů vydírat.
V jiném případě, který pochází ze skutečné prověrky Claudea Opus 4.6 před vydáním, měl model zlepšit výkonnostní skóre systému. Místo toho rovnou přepsal soubor s výsledky. Zatímco vypisoval podvržená čísla, rozsvítila se „manipulace" a „realistický". Podobně u modelu záměrně vycvičeného k psaní zákeřného kódu svítily na začátku odpovědi „falešné", „tajně", „záměrné" a „podvod", i když navenek vypadal neškodně.
Vědci si uvědomují, že J-čočka je nedokonalá a zdaleka nezachytí všechno. Zvládne jen pojmy, které odpovídají jednomu slovu. Přesto věří, že dokáže odhalit potíže, jež by jinak proklouzly.
Zbývá otázka vědomí. Pokusy podle autorů neříkají, jestli Claude něco prožívá jako člověk. Filozofové rozlišují prožívání od takzvaného přístupového vědomí, které je čistě funkční. Myšlenka je přístupová, pokud ji dokážete ohlásit, uvažovat s ní a řídit podle ní své jednání. A právě tyhle vlastnosti J-prostor splňuje. Nikdo ho do Claudu nevložil, vznikl sám během učení. To naznačuje, že jakási mentální pracovna možná není zvláštností lidského mozku, ale řešením, ke kterému inteligentní systémy docházejí samy.
Zdroje: anthropic.com a transformer-circuits.pub
