Neue KI kombiniert Podcasts und wissenschaftliche Artikel für präzisere Antworten

Forscher der Boston University unter der Leitung von Vijaya B. Kolachalama haben ein völlig neues Sprachmodell namens PodGPT entwickelt, das den Zugang zu wissenschaftlichen Informationen verändert. Dieses Modell verfolgt einen einzigartigen Ansatz – es lernt aus mehr als 3.700 Stunden Audioinhalten wissenschaftlicher Podcasts aus den Bereichen Wissenschaft, Technologie, Ingenieurwesen, Mathematik und Medizin (STEMM).

Das Forschungsteam transkribierte die Podcast-Aufnahmen in mehr als 42 Millionen Text-Tokens. Dadurch konnte das Modell eine breite Palette an Fachterminologie und Gesprächskontexten erfassen, die in herkömmlichen Textdatensätzen normalerweise nicht vorkommen. Dieser Ansatz stellt eine wesentliche Innovation beim Training von Sprachmodellen für wissenschaftliche Anwendungen dar.

Kombination von Podcasts mit wissenschaftlicher Literatur

PodGPT nutzt die fortschrittliche RAG-Technologie (Retrieval-Augmented Generation – durch Informationsabruf erweiterte Generierung), die ihm den Zugriff auf eine Datenbank frei zugänglicher wissenschaftlicher Artikel ermöglicht. Das Modell kann Informationen aus renommierten Quellen wie Creative-Commons-Artikeln aus PubMed Central und dem New England Journal of Medicine beziehen. Diese Datenbank enthält Artikel aus bedeutenden Fachzeitschriften, darunter JAMA Network Open (9.367 Artikel), Cell (497 Artikel) und The Lancet (458 Artikel). Das System kann die neuesten wissenschaftlichen Erkenntnisse in Echtzeit abrufen und Antworten liefern, die auf aktuellen Forschungsergebnissen basieren. Jede Antwort wird durch relevante Verweise auf wissenschaftliche Quellen ergänzt, deren Relevanz anhand der Kosinusähnlichkeit bewertet wird.

Leistung über verschiedene Sprachen und Fachgebiete hinweg

Bei Tests mit Standarddatensätzen wie MedQA, PubMedQA, MedMCQA und den MMLU-STEMM-Kategorien übertraf PodGPT die Basismodelle, darunter Google Gemma und Meta LLaMA. Das Modell erzielte gegenüber standardmäßigen Open-Source-Benchmarks eine durchschnittliche Verbesserung um 3,51 Prozentpunkte und bei Aufgaben zum mehrsprachigen Transfer um 4,06 Prozentpunkte.

Besonders beeindruckend sind die Ergebnisse in den einzelnen Sprachen. Beim chinesischen Benchmark MedQA-MCMLE erzielte das Modell Gemma 7B eine Verbesserung um 4,39 Prozentpunkte. Bei französischen Benchmarks zeigte PodGPT eine starke Leistung mit einer durchschnittlichen Verbesserung von bis zu 5,04 Prozentpunkten für das Modell Gemma 7B. Auf Hindi erzielte das Modell im Bereich Biologie eine Verbesserung um bis zu 9,80 Prozentpunkte.

Technische Parameter und Verfügbarkeit

Die Forscher testeten PodGPT mit verschiedenen Modellgrößen von 2B bis 70B Parametern. Sie verwendeten die Modelle Gemma 2B und 7B, Mixtral 8×7B MoE von Mistral AI sowie eine auf Anweisungen abgestimmte Variante von LLaMA 3.3 70B. Zur Senkung der Rechenkosten implementierten sie Low-Rank Adaptation (LoRA) und einen 8-Bit-quantisierten AdamW-Optimierer.

Das Modell ist über eine Webplattform mit einer benutzerfreundlichen, in ReactJS und NextJS erstellten Oberfläche öffentlich zugänglich. Die Infrastruktur nutzt Kubernetes zur Container-Orchestrierung und die vLLM-Bibliothek für die effiziente Bereitstellung von Sprachmodellen.

Praktische Anwendung und Zukunft

PodGPT stellt einen bedeutenden Fortschritt bei der Demokratisierung wissenschaftlichen Wissens dar. Durch die Nutzung von Podcast-Inhalten, die häufig Diskussionen mit führenden Fachleuten enthalten, macht das Modell wissenschaftliche Erkenntnisse einer breiteren Öffentlichkeit in einer kontextuell reichhaltigeren Form zugänglich. Niedrigere Perplexitätswerte bei Konversationsdatensätzen belegen die Fähigkeit des Modells, kohärente Antworten zu generieren, die eine Interaktion zwischen Arzt und Patient nachahmen.

Dieser Ansatz eröffnet neue Möglichkeiten für Bildung und Forschung, da KI präzise und aktuelle Informationen bereitstellen kann, die auf den neuesten wissenschaftlichen Erkenntnissen aus Medizin, Biologie, Chemie, Physik und weiteren STEMM-Disziplinen basieren.