Baidu hat Unlimited OCR 2 als Open-Source-Modell veröffentlicht, das Seitenbilder in Text umwandelt. Es verarbeitet geordnete Seitenfolgen aus kurzen Dokumenten ebenso wie aus solchen mit Hunderten Seiten und bewahrt dabei die Struktur sowie Zusammenhänge zwischen den Seiten.
Einzelne Seiten und ganze Dokumente umwandeln
Das Modell für Bild- und Textverarbeitung mit drei Milliarden Parametern wandelt Seiten in Text um und erhält dabei Überschriften, Tabellen, Formeln, Abbildungen und die Lesereihenfolge. Seitenübergreifender Kontext hilft, die Zusammenhänge von Tabellen und Verweisen zu bewahren, die beim Aufteilen eines Dokuments in isolierte Abschnitte verloren gehen können.
Die Transformers-Schnittstelle bietet die Methode infer für einzelne Seiten und infer_multi für geordnete Seitenfolgen. Der erste Modus teilt eine Seite in Bildbereiche auf; der zweite verwendet für jede Seite eine Gesamtansicht und verarbeitet die Sequenz mit einem einzigen Aufruf.
Die gezeigte Schnittstelle nimmt Seitenbilder entgegen. Wer damit eine PDF-Datei verarbeiten möchte, muss deren Seiten daher zunächst in Bilder umwandeln.
Wie das Modell Kontext speichert
Für lange Dokumente verwendet das Modell den Mechanismus Sparse Reference Sliding Window Attention, kurz SR-SWA. Er komprimiert textuelle und visuelle Interaktionen in einen Referenztoken-Pool fester Größe, der bei der Verarbeitung laufend aktualisiert wird. So kann die spätere Ausgabe eine Zusammenfassung früherer Inhalte nutzen, ohne bei jedem Dekodierungsschritt die gesamte Token-Historie zu durchsuchen.
Baidu bezeichnet die Verarbeitung als „unbegrenzt“ im Sinne eines begrenzten Attention-Zustands: Speicherbedarf und Dekodierungslatenz pro Token können laut Unternehmen nahezu stabil bleiben. Mit der Seitenzahl steigen jedoch der Aufwand für Bildkodierung und Ausgabegenerierung sowie die gesamte Verarbeitungszeit.
Die Zusammenfassung früherer Inhalte ist verlustbehaftet. Der feste Referenztoken-Pool kann deshalb ein Detail verwerfen, das erst viel später im Dokument wichtig wird.
Unlimited OCR 2 baut auf DeepSeek-OCR, DeepSeek-OCR-2, PaddleOCR und dem ersten Unlimited OCR auf. Der Einsatz ähnlicher Attention-Mechanismen für lange Videos oder umfangreichen Code bleibt eine Forschungsrichtung.
Testergebnisse für lange Dokumente
Laut Baidu erzielt das Modell Spitzenergebnisse in den Tests MPDocBench und MarathonDocBench. Der erste umfasst Dokumente mit Dutzenden Seiten, der zweite solche mit Hunderten Seiten. Der veröffentlichte Vergleich schließt auch die Modellfamilien Qwen, Gemini, GLM, DeepSeek, MiniMax und Kimi ein.
Verfügbarkeit und Voraussetzungen
Baidu hat die Modellgewichte, die Transformers-Schnittstelle und den Code auf GitHub unter der MIT-Lizenz veröffentlicht. Zur Veröffentlichung gehören auch Anleitungen für die Bereitstellung mit SGLang und vLLM.
Das Transformers-Beispiel setzt eine GPU mit Unterstützung für CUDA und bfloat16 voraus. Allein die Gewichte im bfloat16-Format benötigen etwa 6 GB Speicher; für die Verarbeitung und parallele Anfragen ist zusätzlicher Speicher erforderlich.
Die Option trust_remote_code=True führt Python-Code aus dem Modell-Repository aus. Vor der Bereitstellung empfiehlt es sich daher, den Code zu prüfen und eine überprüfte Revision festzulegen.
Verarbeitung in SGLang einstellen
Baidus Vorgehen für den Produktionseinsatz setzt vor allem auf SGLang und verwendet ein angepasstes Paket aus dem Repository. Es bietet Einstellungen für Seitenfenster, Ausgabelimits und die statische Speicherallokation.
Bei der Verarbeitung in Fenstern übernimmt das nächste Fenster das Ende des KV-Cache des vorherigen. Kleinere Fenster senken den maximalen Speicherbedarf, können aber den Zusammenhang von Inhalten über Fenstergrenzen hinweg beeinträchtigen.
Der Parameter SGLANG_UOCR_MAX_PAGE_TOKENS begrenzt die Zahl der Ausgabetoken pro Seite. Er verhindert, dass eine einzelne problematische Seite das für das gesamte Dokument vorgesehene Generierungsbudget verbraucht.
