Cohere vydala Embed 5, rodinu modelů převádějících obsah na vektory, která umožňuje oddělit indexování dokumentů od zpracování vyhledávacích dotazů. Varianta Pro se zaměřuje na kvalitu indexování, zatímco Fast na nízkou latenci a vysokou propustnost při interaktivním vyhledávání a při práci agentů. Díky společnému vektorovému prostoru lze obě varianty kombinovat bez přestavby indexu.
Společný index, různé modely pro dokumenty a dotazy
Vývojáři mohou dokumenty převést na vektory pomocí Pro a následné dotazy zpracovávat variantou Fast nad týmž indexem. Kompatibilita ale vyžaduje shodné nastavení obou cest: musí používat stejné rozměry vektorů, stejnou reprezentaci výstupu i stejnou konfiguraci podobnosti.
Cohere otestovala všechny kombinace modelů pro dokumenty a dotazy na 40 vývojových datových sadách. Kombinace různých modelů měly podle firmy v průměru o 1,6 % a 2,7 % nižší výkon než odpovídající výchozí konfigurace, v nichž dokumenty i dotazy zpracovával stejný model.
Při měření napříč běžnými délkami kontextu dosáhla Fast podle Cohere průměrně 2,4násobné propustnosti oproti Pro. Firma uvádí přibližně 377 dokumentů za sekundu u Fast a 160 u Pro; jde o propustnost zpracování dokumentů, nikoli o měření celkové latence uživatelského dotazu.
Text, obrázky a kontext 128 000 tokenů
Embed 5 přijímá textové i obrazové vstupy a také jejich kombinace, například stránky PDF obsahující text a obrázky. Podporuje více než 100 jazyků a má kontextové okno 128 000 tokenů.
Výstup lze nastavit na 256, 512 nebo 768 rozměrů; k dispozici jsou také varianty s 1 024, 1 536 a 2 048 rozměry. Modely nabízejí reprezentace float, int8 a binary. Obě varianty podporují Matryoshka embeddings, které umožňují ukládat zkrácené vektory, pokud aplikace upřednostní menší nároky na úložiště před maximální kvalitou vyhledávání.
Velikost vektorů lze přizpůsobit úložišti
Volba rozměrů a reprezentace výrazně mění velikost samotného vektoru. Vektor float32 s 2 048 rozměry zabírá 8 KB, zatímco int8 s 1 024 rozměry potřebuje 1 KB. Binární vektor s 256 rozměry zabírá 32 bajtů; tyto hodnoty nezahrnují metadata indexu, grafové struktury, repliky ani režii databáze.
Cohere doporučuje jako kompromis mezi velikostí a kvalitou vyhledávání 1 024rozměrné vektory int8. U obou modelů pro ně uvádí výkon blízký reprezentaci float. Zvolenou reprezentaci musí databázový index podporovat jak při ukládání, tak při porovnávání vektorů.
Výsledky na podnikových dokumentech a ve financích
Na ViDoRe V3, benchmarku zaměřeném na vizuálně složité podnikové dokumenty, uvádí Cohere průměrné skóre 85,8 pro Embed 5 Pro a 84,7 pro Fast. Ve stejném firemním srovnání dosahuje Voyage 4 Large skóre 83,7, Gemini Embedding 2 skóre 83,2 a OpenAI text-embedding-3-large skóre 75,5.
Ve finančních testech Cohere dosáhla varianta Pro 80,1 na FinanceBench, 90,0 na FinQA a 85,0 na ViDoRe V3 Finance. Fast podle firmy obsadila druhé místo ve všech třech testech. Na FinanceBench Cohere uvádí náskok Pro o 21,4 bodu před OpenAI text-embedding-3-large.
Srovnání s předchozím Embed 4 se týká také vícejazyčných výsledků. Největší zlepšení Cohere uvádí u perštiny, o 13 bodů; u telugštiny a hindštiny činí hlášený posun shodně 12 bodů.
Nová metrika hodnotí relevanci nalezených dokumentů
Cohere při optimalizaci Embed 5 použila RCP-nDCG@10, metriku hodnocení vyhledávání navrženou pro práci s neúplnými údaji o relevanci. Kalibrovaný AI hodnotitel v ní posuzuje každý nalezený dokument podle společné hodnoticí rubriky.
Ve studii Cohere se 46 lidskými anotátory dosáhly dosavadní benchmarkové anotace u ukazatele AUC hodnoty 0,65; ten měří úspěšnost předpovědi lidského hodnocení relevance. Kalibrovaný hodnotitel založený na velkém jazykovém modelu dosáhl 0,91. Lidští hodnotitelé přitom považovali za užitečných 28 % dokumentů, které benchmark označoval za nerelevantní.
Při párovém porovnávání systémů vybrala RCP-nDCG@10 podle výzkumu Cohere systém preferovaný lidmi v 77 % případů, oproti 52 % u běžné nDCG. Započítání relevantních dokumentů chybějících v referenčním seznamu přineslo v tomto výzkumu zlepšení o 19 bodů.
Dostupnost přes API a platformy pro nasazení
Embed 5 je dostupný přes Cohere Embed API, Microsoft Foundry a Amazon SageMaker. Pro nasazení vyhrazená jednomu zákazníkovi je k dispozici Model Vault.
Ceníková cena API činí 0,12 USD za milion tokenů u Pro a 0,08 USD u Fast, zatímco hostovaná nasazení a nasazení vyhrazená jednomu zákazníkovi mohou mít podmínky specifické pro danou platformu.
