Wikidata ist ein Schwesterprojekt der Wikipedia, in dem Bilder, Texte, Schlüsselwörter und weitere Informationen zu verschiedenen Themen gesammelt werden. Beim englischen Schriftsteller Douglas Adams etwa, der verstorben und für sein 1979 erschienenes Werk Per Anhalter durch die Galaxis bekannt ist, finden Sie nicht nur die grundlegenden Angaben aus seinem Wikipedia-Artikel, sondern auch Details wie sein Sternzeichen Fische oder die Nummer 13230702, unter der seine Bücher in Bibliotheken auf der ganzen Welt geführt werden. Diese Informationen sind auf der Wikidata-Website unter der Kennung Q42 und für Maschinen in Formaten wie JSON (Datenformat) verfügbar.
Wikidata umfasst 19 Millionen Einträge, die von Freiwilligen sorgfältig zusammengetragen werden. Diese Daten werden nicht nur für Menschen, sondern auch für Maschinen gespeichert, was eine schnelle Suche und die Nutzung in verschiedenen Anwendungen ermöglicht.
Eine neue, KI-freundliche Datenbank
Wikimedia Deutschland, die deutsche Sektion der Wikimedia Foundation, die Wikidata betreut, hat das Wikipedia Embedding Project gestartet. Dieses Team aus Berlin verbrachte ein ganzes Jahr damit, die strukturierten Daten aus Wikidata mithilfe eines großen Sprachmodells in Vektoren umzuwandeln. Diese Vektoren erfassen den Kontext und die Bedeutung jedes einzelnen Eintrags. Douglas Adams würde beispielsweise mit dem Eintrag „Mensch“ und den Titeln seiner Bücher verknüpft, wie Lydia Pintscher, Portfolioleiterin von Wikidata, erklärte.
Diese Vektorform ähnelt einem Graphen aus Punkten und Verbindungslinien, wodurch große Sprachmodelle Informationen leichter verarbeiten können. Die Datenbank wurde aus Daten erstellt, die bis zum 18. September 2024 erfasst wurden, und verwendet ein Modell des Unternehmens Jina AI. Die Speicherinfrastruktur wird kostenlos von DataStax bereitgestellt, das zu IBM gehört.
Philippe Saadé, KI-Projektmanager bei Wikidata, erklärte, dass Vektoren es Systemen der künstlichen Intelligenz ermöglichen, nicht nur die Informationen selbst, sondern auch deren Kontext zu erfassen. Das Team wartet nun auf Rückmeldungen von Entwicklern, bevor es die Daten des vergangenen Jahres hinzufügt. Kleinere Änderungen an bestehenden Einträgen würden die allgemeine Nützlichkeit der Datenbank nicht beeinträchtigen, da die Vektoren die grundlegende Bedeutung eines Eintrags erfassen.
Vorteile für Entwickler
Ziel des Projekts ist es, gleiche Ausgangsbedingungen für Entwickler außerhalb großer Technologieunternehmen zu schaffen. Große Unternehmen wie OpenAI oder Anthropic können die Daten aus Wikidata selbst vektorisieren, doch kleinere Teams profitieren am meisten davon. Lydia Pintscher betonte, dass dies kleineren Projekten eine Chance auf Erfolg gebe. Die Plattform Govdirectory nutzt beispielsweise Daten aus Wikidata, um nach Social-Media-Profilen und E-Mail-Adressen von Amtsträgern auf der ganzen Welt zu suchen.
Dank der Vektoren und der neuen Datenbank lassen sich die Daten leichter in Chatbots oder andere Anwendungen künstlicher Intelligenz integrieren. Dies hilft Systemen wie ChatGPT, weniger bekannte Themen besser zu verarbeiten, die im Internet nicht so weit verbreitet sind. Anstatt auf ein erneutes Training der Modelle zu warten, können Daten direkt hinzugefügt werden, was die Genauigkeit erhöht.
Die Benutzeroberfläche bleibt unverändert – Wikipedia wird nicht zu einem Chatbot, wie die Projektleitung versichert. Die Änderung betrifft vor allem das Backend, wo Entwickler nun leichter auf die Daten zugreifen können.
Unterstützung für Wissen
Wikidata bietet für jeden Eintrag stabile Kennungen wie QIDs, die eine eindeutige Suche gewährleisten. Die Daten werden von Freiwilligen überprüft und mit externen Quellen verknüpft, was Duplikate reduziert und die Integration verbessert. Die neue RESTful API (Programmierschnittstelle) beschleunigt den Zugriff auf Echtzeitdaten und ist damit ideal für Frameworks wie LangChain.
Diese Verbesserungen machen Wikidata zu einer vertrauenswürdigen Quelle für künstliche Intelligenz, bei der Fehler wie Modellhalluzinationen reduziert werden. Das Projekt unterstützt Open Source und hilft kleineren Teams, auf der Grundlage hochwertiger Daten Werkzeuge zu entwickeln.
Das Team plant weitere Aktualisierungen auf Grundlage des Feedbacks. Die Datenbank enthält nun Vektoren aus 19 Millionen Einträgen und eröffnet damit Möglichkeiten für Anwendungen von Suchmaschinen bis hin zu virtuellen Assistenten. Lydia Pintscher sieht darin eine Möglichkeit, sicherzustellen, dass künstliche Intelligenz tatsächliches Wissen widerspiegelt und nicht nur populäre Trends im Internet.
Quelle: theverge.com
