Velké jazykové modely udělaly v posledních letech pořádný rozruch. Ovládly titulky novin, fascinovaly výzkumníky a pohánějí chatboty i kódovací asistenty po celém světě. Jenže čím dál víc firem si pokládá jednoduchou otázku: Opravdu potřebujeme takový výkon pro každý úkol? Odpověď je stále častěji ne. A tady vstupují na scénu malé jazykové modely (SLM, z anglického Small Language Models).
Co jsou malé jazykové modely?
SLM jsou odlehčené jazykové modely navržené tak, aby fungovaly efektivně i v prostředích s omezenými zdroji. Patří sem chytré telefony, vestavěné systémy nebo počítače s nižším výkonem.
Zatímco velké modely pracují se stovkami miliard nebo dokonce biliony parametrů, SLM se pohybují typicky v rozsahu od jednoho milionu do deseti miliard parametrů. I přes tuto úsporu si zachovávají základní schopnosti přirozeného jazyka: generování textu, překlad, shrnutí dokumentů nebo odpovídání na otázky.
Jak poznamenává Thomas Randall z analytického institutu Info-Tech Research Group, nejde o jednoduchou náhradu velkých modelů za malé. "Přesnější obraz bude ten, kdy organizace řeší, jak řídit více modelů různých velikostí napříč různými prostředími nasazení." Architektura funguje spíše jako chytrá dělba práce: jednoduché nebo přesně vymezené dotazy jdou k malému specializovanému modelu, složité k velkému.
Jak se modely zmenšují?
Za kompaktností SLM stojí několik konkrétních technik, které redukují velikost modelu bez výrazné ztráty výkonu.
Destilace znalostí přenáší schopnosti z většího „učitelského" modelu na menší „žákovský". Ten se učí nejen napodobovat výstupy, ale i samotný způsob uvažování. Ořezávání pak z neuronové sítě odstraní zbytečné nebo přebytečné parametry. A kvantizace převádí hodnoty z vysoké přesnosti na nižší, třeba z 32bitových desetinných čísel na 8bitové celé. Výsledekem jsou menší data, rychlejší výpočty a nižší spotřeba energie.
Vedle těchto metod existují i přístupy jako doladění modelu na konkrétní data (fine-tuning), využití znalostní základny přidané za běhu (RAG) nebo technika LoRA, která přidává k původnímu modelu lehké vrstvy místo jeho přetrénování.
Které modely se řadí mezi SLM?
Trh s malými modely je překvapivě pestrý. Mezi nejznámější patří:
- Llama 3.2 od Meta s variantami o 1 a 3 miliardách parametrů, optimalizované pro hraniční zařízení
- Phi-3.5 Mini od Microsoftu se 3,8 miliardami parametrů, zaměřený na uvažování a generování kódu
- Gemma od Google DeepMind dostupná ve verzích 2, 4, 7 a 9 miliard parametrů, vícejazyčná a multimodální
- Qwen2.5 od Alibaby s 1,5 miliardami parametrů pro vícejazyčné využití
- Granite od IBM ve variantách 2 a 8 miliard parametrů, navržený pro podnikové prostředí včetně kybernetické bezpečnosti a RAG úloh
- GPT-4o mini od OpenAI, menší a nákladově efektivní varianta GPT-4o s multimodálními schopnostmi
- DistilBERT, odlehčená verze Googlu BERT, která je o 40 % menší a o 60 % rychlejší, přičemž si zachovává 97 % schopností původního modelu
Mistral nabídl modely Ministral 3B a Ministral 8B, přičemž ten osmimilidardový překonává svého předchůdce Mistral 7B v testech znalostí, zdravého rozumu, matematiky i vícejazyčných dovedností.
Proč firmy slyší na malé modely?
Hlavní motor zájmu je ekonomický. Použití modelu s bilionem parametrů pro opakující se rutinní úkoly, jako je třídění zákaznických dotazů, generuje neudržitelné náklady na cloud. Specializovaný malý model tento problém řeší.
SLM vyniká, když se tři podmínky setkají najednou. Úkol je úzce vymezený, opakující se a objemný a citlivý na prodlevu. Malý model dělá jednu věc dobře místo toho, aby vše zvládal průměrně. A protože se nemusí probírat šumem celého internetu, snižuje se i riziko tzv. halucinací, tedy vymyšlených odpovědí.
Důležité je i soukromí a bezpečnost. SLM jsou dostatečně malé, aby běžely přímo na zařízeních nebo na vlastní infrastruktuře firmy. To minimalizuje riziko úniku dat a nabízí lepší kontrolu nad kybernetickými hrozbami. V odvětvích jako finance nebo zdravotnictví jde o zásadní argument.
Analytická firma Gartner předpovídá, že do roku 2027 budou firmy využívat malé, úkolově specifické modely třikrát více než obecné velké modely. Různorodost úkolů v podnikových procesech a potřeba vyšší přesnosti pohánějí posun ke specializovaným modelům doladěným na konkrétní funkce nebo oborová data.
Kde malé modely opravdu září?
SLM mají širší záběr, než by se mohlo zdát. Chatboti a virtuální asistenti na mobilních zařízeních zvládají odpovídat v reálném čase bez připojení k internetu. Modely jako Phi-3.5 Mini pomáhají vývojářům psát a ladit kód. Llama 3.2 umí na chytrém telefonu shrnout konverzaci a rovnou vytvořit položky do kalendáře.
V průmyslu se SLM nasazují přímo na senzory a zařízení internetu věcí, kde analyzují data strojů a předpovídají nutnost údržby. Týmy právníků je využívají k identifikaci smluvních klauzulí, finanční oddělení ke čtení transakčních záznamů a odhalování podvodů. Výzkumníci Nvidie tvrdí, že SLM jsou "dostatečně výkonné, inherentně vhodnější a ekonomičtější pro mnoho volání v agentních systémech, a jsou proto budoucností agentní umělé inteligence."
Co malé modely nezvládají?
Malé modely mají svoje limity a bylo by naivní je přehlížet. Největší ústupek spočívá v šíři znalostí a schopnosti uvažování. SLM se zhoršují na úkolech vyžadujících kontextové povědomí nebo vícekrokové uvažování napříč neznámými oblastmi. Když helpdesk dostane tiket, který nezapadá do žádné ze stávajících kategorií, malý model může ztroskotat tam, kde velký obstojí.
Microsoft sám přiznává, že jeho modely Phi-3 "nedosahují tak dobrých výsledků v testech faktických znalostí, protože menší velikost modelu vede k nižší kapacitě pro uchování faktů."
Další slabiny zahrnují zkreslení (bias): pokud trénovací data nejsou pečlivě připravena, menší datová sada může zkreslení ještě zesílit. SLM jsou také náchylnější na chyby v nejednoznačných situacích nebo při složitých vícestupňových útocích sociálního inženýrství.
Malé modely lze doladit pro vlastní potřeby
Jednou z největších předností SLM je přizpůsobitelnost. Vystavením modelu oborovým datům lze výrazně zvýšit jeho výkon pro konkrétní aplikaci. Možnosti jsou hned tři. Plné doladění přetrénuje všechny parametry na nových datech, ale vyžaduje vyšší výpočetní výkon. LoRA (Low-Rank Adaptation) doladí pouze několik vrstev, takže je lehčí a úspornější. Adaptéry a ladění výzev pak přidávají extra vrstvy nebo optimalizují způsob, jakým model dostává instrukce.
Firmy by měly prioritizovat přípravu dat: sbírat, spravovat a organizovat data nezbytná pro dolaďování. Podniková data se stávají klíčovým rozlišovacím prvkem, a právě jejich kvalita, verzování a struktura rozhodují o tom, jak dobře malý model nakonec funguje.
SLM a velké modely jako tým
Ani velké jazykové modely ze scény nezmizí. Ve firmách budou nadále růst oba typy, přičemž velké modely si udržují výhodu v otevřeném uvažování a šíři znalostí.
Hybridní přístup pak vypadá takto: malé modely běží přímo u zákazníka nebo na vlastní infrastruktuře a v případě potřeby většího objemu dat sáhnou po velkém modelu v cloudu. Chytré směrování dotazů rozhoduje, který model dostane jaký úkol. Jednoduché požadavky jdou k malému modelu, složité k velkému.
Takové systémy umožňují firmám provozovat SLM na mobilech pomocí aplikací jako PocketPal nebo lokálně na počítači přes nástroj Ollama, který podporuje modely jako Llama nebo Phi-3.5 Mini s minimálním nastavením a bez nutnosti cloudového připojení.
Zdroje: infoworld.com a ibm.com
