Olivia Koshy, která se zabývá produktovým managementem v Hexu, popsala své zkušenosti z posledních let. Během rozhovoru s přítelem, který také pracuje na AI produktech, si uvědomili, že mnoho projektů, které vypadaly jako neúspěchy, se najednou staly úspěšnými díky rychlému pokroku v technologiích. Funkce, na kterých dříve pracovali celé čtvrtletí, teď lze dokončit během týdnů. Tato zkušenost je přivedla k takzvané "hořké lekci" v kontextu budování AI produktů.
Tato lekce vychází z dlouhodobého výzkumu v oblasti umělé inteligence (AI), kde se ukázalo, že metody, které využívají výpočetní sílu, jsou nakonec nejefektivnější. V praxi to znamená, že se nemá snažit přizpůsobovat AI stávajícím plánům pomocí složitých inženýrských řešení. Mnoho takových řešení se stane zastaralým s příchodem novějšího modelu, který byl trénován na větším množství dat a výpočetní síly. Místo toho je lepší se zaměřit na pochopení schopností modelů a přizpůsobit plány podle nich.
Olivia Koshy teď klade otázky jako: Jakou jedinečnou hodnotu poskytujeme, kterou ostatní nemohou snadno napodobit? Jak můžeme využít rozvíjející se schopnosti modelů? Stavíme něco, co se zlepší s lepšími modely, nebo jen obcházíme jejich současné slabiny? Po více než dvou letech budování AI funkcí změnili v Hexu i způsob, jak pracují: opustili ukázky, sledují změny v schopnostech modelů a rychleji ukončují projekty, které nefungují. Tyto změny nebyly samozřejmé a přišly po mnoha chybách.
První neúspěšný pokus s Notebook Agentem
Notebook Agent se stal velkým hitem mezi zákazníky, ale jeho základní myšlenka pochází už z počátku roku 2023. Tým v Hexu byl přesvědčený, že je to budoucnost, a měli pravdu, jen přišli příliš brzy. Celý rok se snažili vytvořit Notebook Agent s jednoduchým cílem: uživatelé položí otázku k datům a AI vygeneruje SQL, grafy a Python kód pro odpověď. Modely tehdy ještě nebyly připravené na složité vícestupňové uvažování, takže tým vymyslel řadu chytrých řešení k obcházení nedostatků.
Například model často uvízl v nekonečné smyčce a vytvářel buňky donekonečna, pokud si sám vybíral, kterou buňku vytvořit jako další. Proto nechali model nejdřív vybrat šablonu buněk – jako SQL, SQL plus graf, Python nebo Python plus graf. Potom na základě vybrané šablony generovali kód pro každou buňku jedním pokusem. Funkce vypadala úžasně v ukázkách, ale selhala při čemkoli složitějším. "Agent", který je teď známý spíš jako workflow (pracovní tok), měl problémy s výběrem správných dat, a když to zvládl, narazil na příliš mnoho neočekávaných problémů a nedokázal se z nich vzpamatovat.
Tým pokračoval v práci déle, než měl, kvůli investovanému času a hluboké víře v jejich expertizu s notebooky. Bylo těžké si přiznat, že to nefunguje. Později, když vyšel model Sonnet 3.5, který přinesl výrazné zlepšení, nebyli tak nadšení projekt obnovit, protože původní verze se táhla příliš dlouho.
Zaslepení "dost dobrým" výsledkem
Vytváření krásných interaktivních vizualizací s AI bylo prioritou už léta. V říjnu 2024 vydali v Hexu funkci Explore, která umožňuje vizualizovat data s novými možnostmi jako pivoty, součty, grafy a funkce podobné tabulkovému procesoru. Při vydání si řekli, že by to mělo fungovat i s jejich AI. Podcenili složitost – vypadalo to jako jednoduchá buňka, ale ve skutečnosti šlo o komplexní JSON strukturu podobnou specifikaci Vega, s různými pravidly podle typu vizualizace.
Vymysleli dvoustupňový proces generování, který využíval modely pro uvažování jako o3 a malý jemně vyladěný model pro samotnou vizualizaci. Fungovalo to docela dobře, a to byl možná největší problém. Protože to fungovalo docela dobře, soustředili se na optimalizaci stávajícího řešení a přehlíželi nové schopnosti modelů. Přehlédli přechod k volání nástrojů pro složité úkoly oproti jejich dvoustupňovému generování JSON specifikace.
Když začali budovat framework pro agentní nástroje, bylo jasné, že jednoduchý přístup s voláním nástrojů je desetkrát lepší. Od té doby vydali Threads, které umožňují komukoli v organizaci samostatně odpovídat na datové otázky s důvěryhodným kontextem. Tato funkce je mnohem schopnější než cokoli předchozího a překonala to, co dříve trvalo měsíce, během týdnů. Threads dokážou vytvářet více nativních vizualizací Explore a poskytují užitečné výstupy jako souhrny a vizualizace. Opět se potvrdila hořká lekce – jejich chytrá inženýrská řešení byla překonána pouhým využitím zlepšených modelů.
Co dělají teď jinak
Na základě zkušeností z posledních let změnili v Hexu přístup k budování AI funkcí. Základním principem je dostat funkci k uživatelům dřív, než je hotová. Když ji ukazují beta zákazníkům, nejedná se o ukázku – prostě je nechají ji používat přímo. Pokud schůzka vypadá spíš jako hledání chyb, vědí, že ještě nemají něco funkčního. Skutečná validace probíhá v chaotickém prostředí zákazníků. Chtějí to používat i přes nedokonalosti? Z osobní zkušenosti Olivia Koshy ví, že AI ukázky často nefungují v realitě a člověk se snadno oklame, že postavil něco užitečného.
Další změnou je sledování změn ve schopnostech modelů. Modely jako Sonnet 3.5 a 3.7 přinesly velké posuny, které tým příliš nebral v úvahu. Používali je interně, ale neplně využili jejich potenciál a zůstali u starého myšlení s RAG (vyhledávání s generováním) a vícenásobnými pokusy. Vydání Agent Mode od Cursor a Claude Code v únoru 2025 ukázalo, že agenti opravdu fungují. Hlavní úkol pro ty, kdo řídí plány, je nejen ověřit, jestli je nápad dobrý a zákazníci ho chtějí, ale i zda to modely dnes zvládnou. Pokud ne, žádné složité inženýrství to nezachrání.
Nakonec rychleji ukončují projekty. Jakmile si uvědomí, že tým musí vymýšlet řešení na kompenzaci nedostatečné inteligence, projekt zastaví. Je snadné nechat tým pokračovat kvůli investovanému času nebo slíbenému datu vydání – ale na datum se vykašlete. Když to nastane, oslavte neúspěch, pokud tým dokázal rychle změnit směr. Schopnost říct "ne, to nefunguje" je často nejtěžší dovednost a potřebujete vedoucí, kteří to zvládnou i pod tlakem.
Navíc zkoušejí neúspěšné nápady znovu každé tři měsíce nebo při vydání nového modelu. Někdy jste v tom jen trochu předčasně.
Důvodem sdílení těchto neúspěchů je oslava. Je těžké nechat ego stranou, když si uvědomíte, že několik věcí nevyšlo. Ale Olivia Koshy radí dát si trochu shovívavosti; všichni budují v nové oblasti, kde se základ mění každý den. Je to náročné, ale zároveň nejvzrušivější doba pro tvorbu.
Zdroj: hex.tech
