Vedle chatbotů, které umějí psát texty a programovat, roste tišeji druhá kategorie. Říká se jim rozhodovací modely a dělají přesný opak toho, na co jsme u AI zvyklí. Nepíšou. Dostanou otázku, podívají se na data a vrátí jednu odpověď z předem daného seznamu plus číslo, které říká, nakolik si jsou jisté. Tato oblast má vlastní žebříček od analytické firmy Artificial Analysis a soupeří v něm přes dvacet modelů od Microsoftu, Googlu, OpenAI, Perplexity, Cloudflare a dalších. V polovině listopadu se do jeho čela dostala firma Liquid AI s modely d1.2 a d1.2-ultra.
Jak to funguje na obyčejném příkladu
Nejlépe se to ukazuje na stížnosti zákazníka. Dorazí zpráva ve stylu, že mu tři dny nefungují platby a zítra má platit nájem, a tohle je prý neúnosné. Firma z toho potřebuje zjistit tři věci. Komu to předat, zda je to naléhavé a jak velmi je ten člověk rozčilený.
Jazykový model na to odpoví textem, který pak někdo musí rozebrat a převést na data. Rozhodovací model odpoví na všechny tři otázky najednou v jediném volání a ke každé možnosti připíše pravděpodobnost. Tedy že na účetní oddělení to patří s nějakou pravděpodobností, na technickou podporu s jinou, jak vysoká je naléhavost a že zákazník je podle něj rozzlobený.
Právě proto jsou levné a rychlé. Vybírají z pevné sady možností, takže nemusí nic vymýšlet, a účtují se jen za vstupní tokeny, zatímco u jazykových modelů platíte vstup i výstup. U Liquid AI vyjde model d1.2 na dvě setiny dolaru za milion vstupních tokenů a ultra verze na něco přes čtyři setiny.
Jistota, kterou jde ověřit
Celé to stojí a padá s tím číslem jistoty. Když model řekne osmdesát procent, má mít pravdu zhruba v osmi případech z deseti. Pokud to sedí, dá se nad tím postavit jednoduché pravidlo. Všechno pod devadesáti procenty jde na stůl člověku, zbytek projde automaticky.
Tomuto se odborně říká kalibrace a měří se jako rozdíl mezi tvrzenou jistotou a skutečnou úspěšností. Čím menší číslo, tím lépe. Liquid AI uvádí ve svém testu na třinácti sadách úloh a více než dvaceti dvou tisících otázkách chybu 0,8 bodu pro ultra verzi a 1,2 bodu pro základní model. Konkurenční Jev 1.14 podle ní skončil na 2,7 bodu, Decider od Perplexity na 3,7 a GPT-6 Luna od OpenAI na 7,2.
Tady je potřeba přibrzdit, protože tento test si firma udělala sama a nikdo zvenčí ho na stejných otázkách zatím nezopakoval. Nezávislý žebříček Artificial Analysis kalibraci měří také, přes takzvané Brierovo skóre, a v něm model d1.2-ultra dosáhl 75 bodů a d1.2 celkem 69. Ultra verze vede o dva body před dosud nejlepším rozhodovacím modelem.
Rozdíl mezi chatbotem a rozhodovacím modelem je přesně v tomto. Chatbot vám sebejistě odpoví i tehdy, když si vymýšlí, a poznat to musíte sami. Rozhodovací model řekne, že si jistý není, a systém s tím umí naložit.
Co ten žebříček vlastně měří
Artificial Analysis Decision Index v2.1 skládá výsledek ze šesti různých zkoušek, které mají různou váhu. Největší část, tedy třicet procent, připadá na sadu s názvem AA-Paperclip. V ní modely dostanou patnáct set životopisů, účtenek, faktur a odborných článků, u každého musí něco rozhodnout a něco z textu vytáhnout, přičemž celý dokument se počítá jako jedno rozhodnutí.
Patnáct procent má hodnocení pracovních dokumentů, dalších patnáct znalosti a sklon k vymýšlení, patnáct uvažování na otázkách z Humanity’s Last Exam s možností odpověď odmítnout a deset procent zabírá test od Nvidie na to, kdy má model sáhnout po nástroji a kdy ne.
Poslední patnáctina je pro tuto kategorii dost specifická a jmenuje se AA-Symmetry. Kontroluje, zda rozhodnutí vydrží, když se otázka přeformuluje, možnosti se prohodí nebo se otázka obrátí naruby. Model, který odpovídá jinak podle toho, v jakém pořadí jsou odpovědi, v ní propadne.
Co nové modely umí a co se o nich neví
Společnost Liquid AI vydala modely d1.2 a d1.2-ultra 16. listopadu a přidala k textu a obrázkům i zvuk. Starší modely d1, d1.1 a d1-ultra firma odstavila a zvuk nepodporují.
Přibylo pět nových typů odpovědí. Model umí z dokumentu vytáhnout konkrétní hodnotu, například částku na faktuře, a když ji tam nenajde, napíše, že tam není, místo aby si nějaké číslo vymyslel. Dokáže v textu najít všechny úseky, které odpovídají zadání, tedy například všechny osobní údaje v poznámce. V obrázku umí vyznačit rámečkem jeden nebo více objektů. Odhadne číslo i s rozpětím, ve kterém si je jistý. A z nabídnutého seznamu vybere všechny štítky, které sedí, ke každému zvlášť s vlastní pravděpodobností.
Na vlastních testech firma hlásí u ultra verze osmadevadesát procent při čtení hodnot z účtenek a čtyřiadevadesát procent při hledání objektů v obrázcích. U osobních údajů v textu uvádí čtyřiadevadesátiprocentní přesnost a třiadevadesátiprocentní záchyt. Kontextové okno ultra verze zvládne šestašedesát tisíc tokenů a průměrná doba na úlohu podle firmy klesla o osmadvacet procent.
Několik věcí zatím chybí. Nikdo zvenčí neověřil kalibraci na stejných otázkách, firma nezveřejnila rychlostní parametry ani limity a není jasné, zda nové typy odpovědí fungují stejně dobře i v jiných jazycích než v angličtině. Modely navíc běží jen přes rozhraní Liquid AI, takže si je nikdo nestáhne k sobě.
Zdroj: artificialanalysis.ai



