Wikidata funguje jako sestra Wikipedie, kde se shromažďují obrázky, texty, klíčová slova a další informace o různých tématech. Například u anglického spisovatele Douglase Adamse, který zemřel a je známý dílem Stopařův průvodce galaxií z roku 1979, najdete nejen základní údaje z jeho stránky na Wikipedii, ale i detaily jako jeho znamení zvěrokruhu Ryby nebo číslo 13230702, pod kterým jsou jeho knihy uložené v knihovnách po celém světě. Tyto informace jsou dostupné na webové stránce Wikidata pod identifikátorem Q42, a pro stroje ve formátech jako JSON (formát dat).
Wikidata obsahuje 19 milionů položek, které dobrovolníci pečlivě shromažďují. Tato data jsou uložená nejen pro lidi, ale i pro stroje, což umožňuje rychlé vyhledávání a použití v různých aplikacích.
Nová databáze přátelská k umělé inteligenci
Wikimedia Deutschland, německá pobočka Wikimedia Foundation, která dohlíží na Wikidata, spustila projekt Wikipedia Embedding Project. Tento tým z Berlína strávil celý rok tím, že pomocí modelu velkého jazyka převedl strukturovaná data z Wikidata do vektorů. Tyto vektory zachycují kontext a význam kolem každé položky. Například Douglas Adams by byl spojený s položkou "člověk" a s názvy jeho knih, jak vysvětlila Lydia Pintscher, vedoucí portfolia Wikidata.
Tato vektorová forma připomíná graf s body a propojenými liniemi, což usnadňuje velkým jazykovým modelům zpracování informací. Databáze byla vytvořena z dat zachycených do 18. září 2024 a používá model od společnosti Jina AI. Infrastrukturu pro ukládání poskytuje zdarma firma DataStax, která patří pod IBM.
Philippe Saadé, manažer projektu AI ve Wikidata, vysvětlil, že vektory umožňují systémům umělé inteligence získat nejen samotné informace, ale i kontext kolem nich. Tým teď čeká na zpětnou vazbu od vývojářů, než přidá data z posledního roku. Malé úpravy v existujících položkách podle něj neovlivní celkovou užitečnost databáze, protože vektory zachycují obecnou myšlenku položky.
Výhody pro vývojáře
Cílem projektu je vyrovnat podmínky pro vývojáře mimo velké technologické firmy. Velké společnosti jako OpenAI nebo Anthropic si dokážou data z Wikidata vektorizovat samy, ale menší týmy z toho těží nejvíc. Lydia Pintscher zdůraznila, že to dává menším projektům šanci na úspěch. Například platforma Govdirectory využívá data z Wikidata k vyhledávání sociálních sítí a e-mailů veřejných činitelů po celém světě.
Díky vektorům a nové databázi se data snadněji integrují do chatbotů nebo jiných aplikací umělé inteligence. To pomáhá systémům jako ChatGPT lépe zpracovávat méně známá témata, která nejsou tak rozšířená na internetu. Místo čekání na přetrénování modelů lze data přidávat přímo, což zvyšuje přesnost.
Uživatelské rozhraní zůstane stejné – Wikipedie se nestane chatbotem, jak ujišťují vedoucí projektu. Změna se týká hlavně backendu, kde vývojáři teď mají snadnější přístup k datům.
Podpora znalostí
Wikidata nabízí stabilní identifikátory jako QID pro každou položku, což zajišťuje jednoznačné vyhledávání. Data jsou ověřená dobrovolníky a propojená s externími zdroji, což snižuje duplicity a zlepšuje integraci. Nová RESTful API (rozhraní pro programování) urychluje přístup k datům v reálném čase, což je ideální pro rámce jako LangChain.
Tato vylepšení dělají z Wikidata důvěryhodný zdroj pro umělou inteligenci, kde se snižují chyby jako halucinace modelů. Projekt podporuje otevřené zdroje a pomáhá menším týmům budovat nástroje na základě kvalitních dat.
Tým plánuje další aktualizace na základě zpětné vazby. Databáze teď obsahuje vektory z 19 milionů položek, což otevírá dveře pro aplikace od vyhledávačů po virtuální asistenty. Lydia Pintscher v tom vidí způsob, jak zajistit, aby umělá inteligence odrážela skutečné znalosti, nejen populární trendy na webu.
Zdroj: theverge.com
