Einen universellen Speicher für LLMs gibt es nicht

Zu Beginn erklären wir, was Mem0 und Zep sind. Es handelt sich um spezielle Werkzeuge für künstliche Intelligenz, die einer KI dabei helfen, Informationen aus Gesprächen zu speichern und zu organisieren, ähnlich wie ein Gedächtnis; Mem0 speichert Fakten und Zusammenfassungen in einem einfachen Vektorsystem, während Zep einen komplexeren Graphen der Beziehungen zwischen Dingen erstellt, was zu mehr automatischen Aktualisierungen und höheren Kosten führen kann. 

Wenn man sich Systeme wie Mem0 oder Zep ansieht, versprechen sie Kosteneinsparungen von bis zu 90 % und schnellere Reaktionen. Doch beim realen Einsatz schütteln Ingenieure oft den Kopf – diese Werkzeuge sind schwerfällig, verursachen Verzögerungen und funktionieren in der Praxis nicht so, wie sie vermarktet werden. Der Autor des Artikels beschloss, dies genauer zu untersuchen. Er nahm zwei beliebte Systeme – Zep mit einer Graphstruktur und Mem0 als universelles Gedächtnis – und testete sie anhand des MemBench-Benchmarks aus dem Jahr 2025. Dieser testet reflexives Gedächtnis und Schlussfolgerungsvermögen in Gesprächen.

Das Ziel bestand darin, 4 000 Gesprächsfälle mit dem Modell gpt-5-nano zu simulieren. Die Aufgabe war einfach: ein Gespräch führen, Fakten extrahieren und sie später wieder abrufen. Das ist genau die Art von Arbeit, für die diese Systeme entwickelt wurden.

Die Ergebnisse waren schockierend. Der einfache lange Kontext erreichte eine Genauigkeit von 84,6 %, durchschnittlich 4 232 Eingabe-Token, eine Verzögerung von 7,8 Sekunden und Gesamtkosten von 1,98 Dollar (ungefähr 45 CZK bei einem Wechselkurs von 23 CZK pro Dollar). Mem0 mit Vektoren erreichte nur eine Genauigkeit von 49,3 %, durchschnittlich 7 319 Token, eine Verzögerung von 154,5 Sekunden und Kosten von 24,88 Dollar (ungefähr 572 CZK). Zep mit Graphiti erreichte eine Genauigkeit von 51,6 %, verbrauchte jedoch durchschnittlich 1,17 Millionen Token pro Fall, verursachte eine Verzögerung von 224 Sekunden und geschätzte Kosten von rund 152,6 Dollar (ungefähr 3 510 CZK) – der Test musste nach 1 730 Fällen wegen der hohen Ausgaben nach 9 Stunden abgebrochen werden.

Der Autor dachte zunächst, dass seine Konfiguration fehlerhaft sei, weil eine Million Token für ein einfaches Gespräch unsinnig klingt. Doch nach der Untersuchung der Protokolle stellte er fest, dass es sich nicht um einen Fehler handelt – so funktionieren diese Systeme.

Architektur: LLM beim Schreiben

Diese Systeme funktionieren nicht nur als einfacher Speicher. Sie verwenden eine Methode, die der Autor als LLM-on-Write bezeichnet. Sie erfassen jede Nachricht und führen im Hintergrund Prozesse mit künstlicher Intelligenz aus, um deren Bedeutung zu extrahieren.

Bei Mem0, das auf Fakten und Zusammenfassungen basiert, laufen für jede Interaktion drei parallele Prozesse: die Aktualisierung der Gesprächszeitleiste für eine narrative Zusammenfassung, die Identifizierung von Fakten zur Speicherung im Vektorspeicher und die Prüfung auf Widersprüche, um alte Fakten zu ändern oder zu löschen. Jeder dieser Prozesse ruft separat ein LLM-Modell auf. Eine einzige Nachricht des Agenten löst somit drei getrennte Inferenzen aus.

Zep mit Graphiti geht noch weiter. Wenn Sie sagen: „Ich arbeite an Projekt X“, versucht es nicht nur, den Text zu speichern. Es startet einen Extraktor, der die Entität „Benutzer“ und die Entität „Projekt X“ identifiziert und die Kante „Arbeitet an“ erstellt. Anschließend durchsucht es den Graphen, um festzustellen, ob dies mit anderen Fakten wie „Der Benutzer arbeitet an Projekt Y“ kollidiert. Wenn es einen Konflikt findet, löst es einen weiteren LLM-Aufruf zur Klärung aus. Im Experiment führte dies zu einer Kettenreaktion von Aktualisierungen – eine Änderung löste die Aktualisierung eines benachbarten Knotens aus, was wiederum eine erneute Zusammenfassung der Kante bewirkte. Im Durchschnitt bedeutete dies 1 028 LLM-Aufrufe pro Fall und insgesamt 2 Milliarden Eingabe-Token.

Gemeinsamer Fehler: Faktenextraktion

Obwohl sich Mem0 (Vektoren) und Zep (Graph) unterscheiden, leiden beide unter demselben Problem: der Abhängigkeit von der Faktenextraktion mithilfe eines LLM. Diese Modelle interpretieren Rohdaten als „Fakten“, was für die Personalisierung funktioniert, etwa wenn sie sich merken, dass ein Benutzer die Farbe Blau mag. Für autonome Agenten, die Kosten und Verzögerungen reduzieren müssen, funktioniert dies jedoch nicht.

Der Extraktor ist nicht deterministisch, was bedeutet, dass er „Ich war letztes Jahr krank“ in „aktueller Zustand: krank“ umformulieren kann. Der Fehler entsteht bereits beim Schreiben, sodass die Daten noch vor dem Speichern beschädigt sind. Keine Optimierung der Suche kann dies beheben, da die Datenbank voller Halluzinationen ist. Das primäre LLM-Modell ist dann von der Genauigkeit dieses Extraktors abhängig.

Hinzu kommt die N+1-Steuer – jede Nachricht löst eine Reihe von Aufrufen aus, etwa zur Extraktion, Zusammenfassung und Aktualisierung des Graphen. Dies erhöht die Verzögerung und die Kosten, da man LLM auf LLM schichtet und für das Rauschen in jeder Ebene bezahlt.

Das Marketing verschleiert die tatsächlichen Kosten

Die Anbieter dieser Systeme betonen die Kosten einer einzelnen Suche – wie günstig es sei, einen kleinen Kontext statt des gesamten Verlaufs abzurufen. In der Praxis bezahlt man jedoch für das gesamte Gespräch, einschließlich der Extraktionssteuer und der rekursiven Aktualisierungen. Zep ist in dieser Hinsicht ehrlicher als die meisten anderen, da es sich auf temporale Graphen für Personalisierung und Geschäftskontext konzentriert. Dennoch sind die Kosten selbst für den vorgesehenen Einsatzzweck im Produktionsmaßstab zu hoch. Die Systeme werden häufig für Aufgaben verwendet, für die sie nicht entwickelt wurden, etwa zur Verwaltung des Ausführungszustands eines Agenten.

Der Hype um ein „universelles Gedächtnis“ ist verlockend, weil es fantastisch klingt – unendlicher Kontext zum Nulltarif. Doch die Architektur lässt das nicht zu.

Arbeitsgedächtnis versus semantisches Gedächtnis

Aus dem Experiment geht hervor, dass es kein universelles Gedächtnis gibt. Wir versuchen, zwei unterschiedliche Probleme mit einem einzigen Werkzeug zu lösen. Das semantische Gedächtnis dient dem Benutzer – es verfolgt Präferenzen, langfristige Verläufe und Beziehungen. Es soll unscharf, extrahiert und graphbasiert sein. Das Arbeitsgedächtnis dient dem Agenten – es verfolgt Dateipfade, Variablennamen und aktuelle Fehlerprotokolle. Es muss verlustfrei, zeitlich strukturiert und präzise sein.

Ein semantisches Werkzeug wie Zep oder Mem0 für Arbeitsaufgaben zu verwenden, ist nicht nur ein Kompromiss – es ist die falsche Wahl. Es ist, als würde man eine Datenbank mit einem verlustbehafteten Kompressionsalgorithmus betreiben. Der Zustand ist der Kern der Anwendung und lässt sich nicht zuverlässig komprimieren. Das semantische Gedächtnis eignet sich hervorragend für die Personalisierung über mehrere Sitzungen hinweg, ist jedoch katastrophal für den Zustand während einer Aufgabe. Beide müssen voneinander getrennt und unabhängig verwendet werden.