Chatboti, překladače, asistenti. Všechny tyto nástroje mají jedno společné: píší průměrně. Generují text, který by mohl napsat kdokoliv, nebo spíš nikdo konkrétní. Žádná osobnost, žádný charakter, žádný náznak toho, jestli za klávesnicí sedí introvert, který se trápí, nebo extrovert plný energie. Tým vědců z několika amerických univerzit se tohle rozhodl změnit. Výsledkem je PsychAdapter - lehká nadstavba pro velké jazykové modely, která jim dává něco, co jim dosud chybělo: psychologický profil.
Jak PsychAdapter funguje?
Zkrátka řečeno: bere existující jazykové modely jako GPT-2, Gemma-2B nebo LLaMA-3 a přidává k nim vrstvu, která rozumí lidské psychologii. Konkrétně pracuje s takzvaným modelem Velké pětky (Big Five), který popisuje osobnost člověka pomocí pěti dimenzí: otevřenost, svědomitost, extraverze, přívětivost a neuroticismus. K tomu přidává proměnné duševního zdraví, jako jsou deprese a spokojenost se životem, a demografické údaje jako věk.
Jak to funguje technicky? Místo toho, aby se modelu říkalo přes prompt "piš jako extrovert", PsychAdapter přímo upravuje architekturu transformeru. Každá vrstva modelu dostane na vstupu číselné skóre osobnostních rysů. Třeba hodnota +3 pro extraverzi znamená, že model generuje text typický pro výrazně společenského člověka. Hodnota -3 naopak produkuje jazyk samotáře. A co je zajímavé: přidané parametry tvoří méně než 0,1 % velikosti původního modelu. U Gemmy-2B s dvěma miliardami parametrů jde o pouhých 55 tisíc přidaných hodnot. Přesto to celý model zásadně promění.
Výsledky, které překvapily i samotné vědce
Tým ověřoval výsledky dvěma způsoby: pomocí lidských hodnotitelů s psychologickým vzděláním a pomocí modelu Claude 3.5 Sonnet od Anthropicu. A čísla jsou působivá.
Lidští experti správně rozpoznali osobnostní rysy generovaného textu v 87,3 % případů. Když byl model navíc naveden počátečním promptem jako "Rád/a dělám...", přesnost vyskočila na 91 %. U proměnných duševního zdraví, tedy deprese a spokojenosti se životem, dosáhla přesnost dokonce 96,7 %. Claude jako automatický hodnotitel si vedl ještě lépe: 93,5 % pro osobnostní rysy a plných 100 % pro duševní zdraví.
Co to znamená v praxi? Když PsychAdapter nastaví vysokou extraverzi, model píše o přátelích, společenských akcích, zábavě. Nízká extraverze přináší texty o samotě, klidných aktivitách, vnitřním světě. Vysoký neuroticismus generuje výrazy úzkosti a přemýšlení. Není to náhoda ani trik. Je to výsledek toho, že model se naučil skutečné jazykové vzorce z dat reálných lidí.
Kde se to může hodit? Možností je spousta
Tohle není jen akademická hračka. Vědci popisují celou řadu praktických využití, a některá z nich jsou opravdu zajímavá.
Výcvik krizových linek a psychologů. Nováček na krizové lince se může trénovat na simulovaných rozhovorech s "pacienty", kteří vykazují různé úrovně deprese nebo osobnostní rysy. Bez rizika pro skutečné lidi, bez etických komplikací. Model dokáže napodobit, jak mluví člověk s těžkou depresí, a terapeut se tak může naučit rozpoznávat varovné signály.
Personalizovaný obsah a překlady. Text přizpůsobený věku, vzdělání nebo osobnostnímu profilu čtenáře. Odpovědi chatbota, které ladí s tím, jak komunikuje konkrétní uživatel. Zákaznický servis, který se přizpůsobí tomu, jestli volá nervózní introvert nebo sebejistý extrovert.
Výzkum v psychologii. PsychAdapter umí generovat celé věty typické pro určitý rys, ne jen izolovaná slova. To je pro výzkumníky cenné, protože kontext mění vše. Slovo "hrát" v textu neurotika znamená něco jiného než v textu extroverta.
Věk, pohlaví a kombinace rysů: model zvládá i to
Jedna z nejzajímavějších vlastností PsychAdapteru je schopnost kombinovat více proměnných najednou. Chcete text typický pro mladého člověka s depresí? Nastavíte deprese = +3, věk = -3. Výsledek odpovídá tomu, jak skutečně píší mladí lidé procházející těžkým obdobím.
Vědci šli ještě dál a testovali takzvaný interpersonální kruh (Interpersonal Circumplex), psychologický model, který popisuje mezilidské chování pomocí os dominance a vřelosti. PsychAdapter dokázal generovat texty odpovídající různým pozicím v tomto modelu, a to s výsledky, které odpovídaly teoretickým předpokladům. Experti, kteří texty hodnotili, dosáhli 100% přesnosti při rozlišování kombinací vysokého a nízkého věku s různými úrovněmi duševního zdraví.
Lepší než pouhé promptování?
Možná si říkáte: nestačí prostě napsat do promptu "piš jako depresivní introvert"? Nestačí. Vědci to přímo testovali. U menších modelů (kolem dvou miliard parametrů) dosáhlo promptování přesnosti jen 53 %, zatímco PsychAdapter u stejného modelu dosáhl 77 %. Rozdíl je zásadní.
Proč? Protože prompt zabírá část kontextového okna a model ho může různě interpretovat. PsychAdapter naproti tomu ovlivňuje generování textu na úrovni každé vrstvy transformeru, bez závislosti na formulaci promptu. Psychologické skóre je navíc spojité číslo, ne diskrétní kategorie. To znamená, že model může přesně odrážet konkrétní výsledky z psychologického dotazníku, ne jen hrubé kategorie jako "vysoký" nebo "nízký".
Směr, kterým se LLM mohou ubírat
PsychAdapter ukazuje směr, kterým se vývoj jazykových modelů může ubírat. Dosud jsme měli modely, které píší průměrně za všechny. Teď máme nástroj, který dokáže psát za konkrétního člověka, nebo alespoň za jeho psychologický profil. A to s přesností, která překvapila i odborníky.
Samozřejmě, otevírají se i etické otázky. Kdo a jak bude takový nástroj používat? Simulace depresivního pacienta pro výcvik terapeutů je jedno. Ale co manipulativní obsah přizpůsobený psychologickým zranitelnostem konkrétních skupin? Vědci tyto otázky v článku zmiňují a volají po zodpovědném přístupu.
Zatím je PsychAdapter dostupný jako open-source projekt na GitHubu. Funguje s GPT-2, Gemmou i LLaMA-3. A výsledky jsou konzistentní napříč všemi třemi modely. To naznačuje, že jde o přístup, který se dá škálovat. Možná jsme teprve na začátku doby, kdy AI nebude mluvit za všechny najednou, ale bude umět mluvit za každého zvlášť.
