Das französische Unternehmen Mistral AI hat Mitte Oktober Timestral veröffentlicht, seine erste Familie von Modellen für künstliche Intelligenz. Diese Modelle erzeugen keinen Text, sondern prognostizieren anhand historischer Zahlenwerte deren zukünftige Entwicklung. Dabei kann es sich um Verkäufe in einem Geschäft, den Stromverbrauch oder die Temperatur einer Pumpe in einer Fabrik handeln. Die größte Version hat nur 209 Millionen Parameter, belegte den Entwicklern zufolge aber dennoch in allen drei wichtigen öffentlichen Tests zur Prognosegenauigkeit den ersten Platz.
Für Prognosen reicht ein Chatbot allein nicht mehr aus
Unternehmen arbeiten täglich mit sogenannten Zeitreihen. Dabei handelt es sich um Zahlen, die in regelmäßigen Abständen erfasst werden, etwa tägliche Umsätze, der stündliche Stromverbrauch oder Sensordaten. Auf ihrer Grundlage werden Entscheidungen über Warenbestellungen, die Wartung von Maschinen oder den Energieeinkauf getroffen.
Bewährte statistische Methoden wie ARIMA werden üblicherweise für jede Reihe separat eingerichtet und lernen nur aus deren eigener Historie. Deep-Learning-Modelle finden zwar komplexere Muster über viele Reihen hinweg, werden aber meist für jeden Datensatz von Grund auf neu trainiert und übertragen das erlernte Wissen nicht auf andere Bereiche. Bei Tausenden von Produkten oder Maschinen bedeutet das sehr viel Arbeit. Große Sprachmodelle helfen in diesem Fall nicht, da sie gelernt haben, das nächste Wort vorherzusagen, nicht konkrete Zahlen.
Timestral überträgt das Prinzip, auf dem Sprachmodelle basieren, in die Welt der Zahlen. Zunächst lernt es allgemeine Gesetzmäßigkeiten anhand einer riesigen Menge unterschiedlicher Daten und wendet diese anschließend ohne weiteres Training auf Daten an, die es noch nie gesehen hat. Mistral zufolge funktioniert dies auch in Bereichen, in denen nur wenige Daten verfügbar sind.
Ein Geschäft plant beispielsweise seine Bestände für den nächsten Monat. Der Entwickler lädt die Historie der täglichen Verkäufe in das Modell und bittet um eine Prognose für 30 Tage. Ergänzend können Begleitdaten wie frühere Rabattaktionen oder Feiertage im Prognosezeitraum hinzugefügt werden. Das Modell gibt nicht nur eine Zahl zurück, sondern 21 Schätzwerte von pessimistisch bis optimistisch. Das Lagersystem kann dann mit einer höheren Schätzung rechnen, um auch auf eine stärkere Nachfrage vorbereitet zu sein.
Kleines Modell schlägt größere Konkurrenten
In den Tests GIFT-Eval, TIME und fev-bench belegte Timestral unter den vortrainierten Modellen bei allen fünf untersuchten Kennzahlen den ersten Platz. Den bisherigen Spitzenreiter übertraf es mit nur zwei Dritteln von dessen Parameterzahl – und das mit einer einzigen Modellversion, ohne mehrere Modelle miteinander zu kombinieren.
Timestral ist in vier Größen mit 5, 28, 123 und 209 Millionen Parametern erhältlich. Größere Versionen liefern genauere Prognosen, kleinere sind schneller und kostengünstiger. Laut Mistral bietet kein öffentlich verfügbares Modell gleicher Größe bessere Prognosen. Die Version mit 28 Millionen Parametern schlug in den Tests GIFT-Eval und TIME das etwa viermal größere Chronos-2, während die größte Version TimesFM-3 und Falcon-2.0 übertraf, obwohl sie weniger Parameter besitzt.
Das Modell benötigt keine leistungsstarke Grafikkarte. Auf einem gewöhnlichen Serverprozessor mit acht Threads dauert eine Prognose für den nächsten Tag auf Basis von drei Wochen an Daten, die alle 15 Minuten erfasst wurden, bei der kleinsten Version 17 Millisekunden und bei der größten 113 Millisekunden. Die Version mit 123 Millionen Parametern liegt nur 0,2 Prozent hinter der größten und benötigt etwa drei Viertel ihrer Rechenzeit.
Timestral basiert auf derselben Architektur wie Sprachmodelle, dem sogenannten Transformer. Statt Wörtern verarbeitet es jedoch Pakete mit jeweils 32 Zahlenwerten und kann bis zu 32 768 Zeitschritte gleichzeitig betrachten.
Ältere Modelle verbergen beim Lernen die Werte, die sie vorhersagen sollen. Diese wirken dann wie fehlende Daten und gehen zugleich als Grundlage für weitere Prognosen verloren. Timestral belässt die gesamte Historie an ihrem Platz und fügt spezielle Elemente hinzu, die für zukünftige Werte stehen. So dient jede gemessene Zahl sowohl als Ziel als auch als Kontext, während tatsächliche Lücken in den Daten weiterhin als solche gekennzeichnet bleiben.
Jeder Eingabereihe wird eine eigene Rolle zugewiesen. Entweder handelt es sich um den vorherzusagenden Wert, um eine nur aus der Vergangenheit bekannte Angabe oder um eine auch für die Zukunft bekannte Angabe wie einen Feiertagskalender oder eine Wettervorhersage. Informationen fließen nur von den Begleitdaten zu den vorherzusagenden Werten, sodass das Modell nicht in seine eigene Zukunft blicken kann.
Der Großteil der Trainingsdaten bestand aus künstlich erzeugten Zahlen mit Trends, saisonalen Schwankungen und Rauschen, zwischen denen Mistral auch komplexere wechselseitige Beziehungen herstellte. In der ersten Phase lernte das Modell ausschließlich anhand künstlicher Daten, in der zweiten anhand einer Kombination aus realen und künstlichen Daten mit einem viermal längeren historischen Zeitraum.
Timestral und die Fabrik
Mistral demonstriert das Modell anhand einer Industrieanlage mit Tausenden von Sensoren. Vibrationen, Temperatur und Druck einer Pumpe hängen miteinander zusammen, weshalb Timestral sie gemeinsam überwacht. Es verarbeitet auch nicht numerische Angaben wie den Wochentag oder den Zustand einer Maschine und berücksichtigt im Voraus bekannte Faktoren, beispielsweise den Produktionsplan oder geplante Stillstände. Eine planmäßige Erhöhung der Auslastung bewertet es daher nicht als Problem.
Das Modell kann in Überwachungssystemen eingesetzt werden und kontinuierlich Sensordaten kontrollieren. Erkennt es ein verdächtiges Verhalten einer Pumpe, übernimmt ein auf einem Sprachmodell basierender Software-Agent die weitere Bearbeitung. Er sucht nach ähnlichen Störungen aus der Vergangenheit, lässt weitere Agenten Wartungsaufzeichnungen, Schichtprotokolle, Handbücher und Daten zugehöriger Maschinen durchsuchen und erstellt einen Diagnosevorschlag mit Belegen und weiteren Schritten. Die Werksleitung erhält so statt eines bloßen Alarms eine Erklärung und einen Plan.
Für jede Aufgabe ein anderes Modell
Timestral fügt sich in den Trend zu spezialisierten Modellen ein. TabPFN ergänzt Werte in Tabellen und übertraf in Versuchen gängige Methoden des maschinellen Lernens. Kumo Relational arbeitet mit verknüpften Datenbanken zu Kunden, Bestellungen und Produkten und schlug Vergleichsmodelle bei 41 Aufgaben in 15 Datenbanken. Jev wählt abhängig vom Zustand einer Anwendung aus vorgegebenen Entscheidungen aus und klassifiziert Datensätze.
Bisher bedeutete das Hinzufügen von Prognosen zu einer Anwendung, Daten zu sammeln und aufzubereiten, ein eigenes Modell zu trainieren und es zu betreuen. Ein Agent, der nach von einem Ausverkauf bedrohten Waren sucht, könnte die Arbeit nun aufteilen. Timestral schätzt die Nachfrage, TabPFN das Risiko eines Ausverkaufs, Kumo Relational Lieferverzögerungen und Jev unterteilt die Ergebnisse in Fälle für die reguläre Überwachung und Fälle, die einem Menschen vorgelegt werden müssen. Ein Sprachmodell führt alles zusammen und kennzeichnet Entscheidungen, die eine Genehmigung erfordern.
Diese Modelle benötigen jedoch weiterhin saubere Daten, eigene Tests und eine laufende Kontrolle. Sie sind nicht immer schneller oder kostengünstiger als traditionelle Werkzeuge wie XGBoost oder CatBoost; ihr Vorteil liegt vor allem in der Arbeitsersparnis bei der Entwicklung.
Verfügbarkeit und individuelle Anpassung
Die Daten eines konkreten Unternehmens können sich anders verhalten als die Testdaten und verändern sich im Laufe der Zeit. Unternehmen können Timestral daher über das Werkzeug Mistral Forge mit eigenen Daten feinabstimmen, eigene Begleitdaten hinzufügen oder künstliche Daten erzeugen lassen, die ihrer Branche ähneln. Die gesamte Lösung kann auf eigenen Servern betrieben werden, auch in einer vollständig vom Internet getrennten Umgebung.
Das Modell kann auf GitHub unter einer modifizierten MIT-Lizenz ausprobiert werden. Einen ausführlichen technischen Bericht mit vollständigen Ergebnissen will Mistral zu einem späteren Zeitpunkt veröffentlichen.
