Amazon Web Services vydal Strands Decider 2B, model pro rozhodování mezi předem určenými možnostmi. Ke své volbě připojuje míru jistoty a v pracovních postupech AI agentů může podle Marca Brookera z Amazonu určovat další krok podle aktuálního stavu. Model je již dostupný jako plně open-source projekt.
Z jazykového základu vznikají kalibrované volby
Strands Decider využívá část jazykového modelu Qen3.5-2B, jeho výstupem však není generovaný text. Vytváří kalibrované volby v rámci předem vymezené sady odpovědí. Vedle vybrané možnosti poskytuje také skóre vyjadřující, jakou jistotu jí přisuzuje.
Brooker za jednu z vývojových výzev označuje rovnováhu mezi přesností rozhodování a zachováním schopností jazykového základu. Podle něj je potřeba zlepšovat přesnost a kalibraci pro rozhodovací úlohy, aniž by se zhoršovalo porozumění různým jazykům nebo znalosti, které modelu umožňují obecnější využití.
Rozhodování v jednotlivých krocích pracovního postupu
Podnět k vývoji podle Brookera přišel z rozhovorů se zákazníky AWS. Jejich agentní pracovní postupy nepotřebovaly v každé fázi schopnosti plnohodnotného jazykového modelu. Rozhodovací model tak má sloužit v konkrétním kroku, kdy je třeba na základě současného stavu zvolit, co má následovat.
Brooker spojuje očekávanou vyšší spolehlivost takového kroku s omezenou sadou přípustných odpovědí a se skóre jistoty. Za další přínosy označuje nižší latenci a potenciálně nižší náklady.
Od experimentu inspirovaného Jev k otevřenému vydání
Projekt začal jako vlastní experiment Marca Brookera. Po seznámení s modelem Jev společnosti TypeSafe se pokusil vytvořit vlastní podobu rozhodovacího modelu. TechCrunch uvádí, že tento původní experiment krátce obsadil první místo žebříčku Jevbench mezi modely své velikosti.
Inženýři Amazonu následně projekt upravili pro vydání prostřednictvím Strands Labs. Tato organizace vyvíjí nástroje a protokoly pro nasazování AI agentů. Vydaný Strands Decider 2B je plně open-source a svou velikostí umožňuje lokální provoz.
