Die Vorteile kleiner Sprachmodelle und warum sie für Unternehmen geeignet sind

Große Sprachmodelle haben in den vergangenen Jahren für ordentlich Aufsehen gesorgt. Sie beherrschten die Schlagzeilen, faszinierten Forschende und treiben Chatbots sowie Programmierassistenten auf der ganzen Welt an. Doch immer mehr Unternehmen stellen sich eine einfache Frage: Brauchen wir diese Leistung wirklich für jede Aufgabe? Die Antwort lautet immer häufiger nein. Und hier kommen kleine Sprachmodelle (SLM, vom englischen Small Language Models) ins Spiel.

Was sind kleine Sprachmodelle?

SLM sind schlanke Sprachmodelle, die so konzipiert sind, dass sie auch in Umgebungen mit begrenzten Ressourcen effizient funktionieren. Dazu gehören Smartphones, eingebettete Systeme oder weniger leistungsfähige Computer.

Während große Modelle mit Hunderten Milliarden oder sogar Billionen Parametern arbeiten, bewegen sich SLM typischerweise in einer Größenordnung von einer Million bis zehn Milliarden Parametern. Trotz dieser Einsparung behalten sie grundlegende Fähigkeiten zur Verarbeitung natürlicher Sprache: Texterstellung, Übersetzung, Zusammenfassung von Dokumenten oder Beantwortung von Fragen.

Wie Thomas Randall vom Analyseinstitut Info-Tech Research Group anmerkt, geht es nicht darum, große Modelle einfach durch kleine zu ersetzen. „Ein genaueres Bild entsteht, wenn Organisationen sich damit befassen, wie sie mehrere Modelle unterschiedlicher Größe in verschiedenen Bereitstellungsumgebungen verwalten können.“ Die Architektur funktioniert vielmehr wie eine intelligente Arbeitsteilung: Einfache oder klar abgegrenzte Anfragen gehen an ein kleines spezialisiertes Modell, komplexe an ein großes.

Wie werden Modelle verkleinert?

Hinter der Kompaktheit von SLM stehen mehrere konkrete Techniken, die die Größe eines Modells reduzieren, ohne dass seine Leistung wesentlich beeinträchtigt wird.

Wissensdestillation überträgt Fähigkeiten von einem größeren „Lehrermodell“ auf ein kleineres „Schülermodell“. Dieses lernt nicht nur, die Ausgaben nachzuahmen, sondern auch die Denkweise selbst. Beim Pruning werden anschließend unnötige oder redundante Parameter aus dem neuronalen Netz entfernt. Und Quantisierung wandelt Werte mit hoher Genauigkeit in solche mit geringerer Genauigkeit um, etwa 32-Bit-Gleitkommazahlen in 8-Bit-Ganzzahlen. Das Ergebnis sind kleinere Datenmengen, schnellere Berechnungen und ein geringerer Energieverbrauch.

Neben diesen Methoden gibt es auch Ansätze wie die Feinabstimmung des Modells auf konkrete Daten (Fine-Tuning), die Nutzung einer zur Laufzeit hinzugefügten Wissensbasis (RAG) oder die LoRA-Technik, bei der dem ursprünglichen Modell schlanke Schichten hinzugefügt werden, anstatt es neu zu trainieren.

Welche Modelle zählen zu den SLM?

Der Markt für kleine Modelle ist überraschend vielfältig. Zu den bekanntesten gehören:

• Llama 3.2 von Meta mit Varianten mit 1 und 3 Milliarden Parametern, optimiert für Edge-Geräte
• Phi-3.5 Mini von Microsoft mit 3,8 Milliarden Parametern, ausgerichtet auf logisches Denken und Codegenerierung
• Gemma von Google DeepMind, verfügbar in Versionen mit 2, 4, 7 und 9 Milliarden Parametern, mehrsprachig und multimodal
• Qwen2.5 von Alibaba mit 1,5 Milliarden Parametern für den mehrsprachigen Einsatz
• Granite von IBM in Varianten mit 2 und 8 Milliarden Parametern, konzipiert für Unternehmensumgebungen einschließlich Cybersicherheit und RAG-Aufgaben
• GPT-4o mini von OpenAI, eine kleinere und kosteneffiziente Variante von GPT-4o mit multimodalen Fähigkeiten
• DistilBERT, eine schlanke Version von Googles BERT, die 40 % kleiner und 60 % schneller ist und dabei 97 % der Fähigkeiten des ursprünglichen Modells beibehält

Mistral stellte die Modelle Ministral 3B und Ministral 8B vor, wobei das Modell mit acht Milliarden Parametern seinen Vorgänger Mistral 7B in Tests zu Wissen, gesundem Menschenverstand, Mathematik und mehrsprachigen Fähigkeiten übertrifft.

Warum sind kleine Modelle für Unternehmen attraktiv?

Der wichtigste Treiber des Interesses ist wirtschaftlicher Natur. Der Einsatz eines Modells mit einer Billion Parametern für sich wiederholende Routineaufgaben wie die Klassifizierung von Kundenanfragen verursacht nicht tragbare Cloud-Kosten. Ein spezialisiertes kleines Modell löst dieses Problem.

SLM überzeugen, wenn drei Bedingungen gleichzeitig erfüllt sind. Die Aufgabe ist eng abgegrenzt, wiederkehrend und umfangreich sowie latenzempfindlich. Ein kleines Modell erledigt eine Sache gut, statt alles nur durchschnittlich zu beherrschen. Und da es sich nicht durch das Rauschen des gesamten Internets arbeiten muss, sinkt auch das Risiko sogenannter Halluzinationen, also erfundener Antworten.

Wichtig sind auch Datenschutz und Sicherheit. SLM sind klein genug, um direkt auf Geräten oder in der eigenen Infrastruktur eines Unternehmens ausgeführt zu werden. Das minimiert das Risiko von Datenlecks und bietet eine bessere Kontrolle über Cyberbedrohungen. In Branchen wie dem Finanz- oder Gesundheitswesen ist dies ein entscheidendes Argument.

Das Analyseunternehmen Gartner prognostiziert, dass Unternehmen bis 2027 kleine, aufgabenspezifische Modelle dreimal häufiger einsetzen werden als große Allzweckmodelle. Die Vielfalt der Aufgaben in Unternehmensprozessen und der Bedarf an höherer Genauigkeit treiben den Wandel hin zu spezialisierten Modellen voran, die auf konkrete Funktionen oder branchenspezifische Daten abgestimmt sind.

Wo spielen kleine Modelle ihre Stärken wirklich aus?

SLM haben ein breiteres Einsatzspektrum, als man vermuten könnte. Chatbots und virtuelle Assistenten auf Mobilgeräten können ohne Internetverbindung in Echtzeit antworten. Modelle wie Phi-3.5 Mini helfen Entwicklern beim Schreiben und Debuggen von Code. Llama 3.2 kann auf einem Smartphone ein Gespräch zusammenfassen und direkt Kalendereinträge erstellen.

In der Industrie werden SLM direkt auf Sensoren und Geräten des Internets der Dinge eingesetzt, wo sie Maschinendaten analysieren und den Wartungsbedarf vorhersagen. Rechtsteams nutzen sie zur Identifizierung von Vertragsklauseln, Finanzabteilungen zum Lesen von Transaktionsaufzeichnungen und zur Aufdeckung von Betrug. Forschende von Nvidia erklären, SLM seien „leistungsfähig genug, von Natur aus besser geeignet und wirtschaftlicher für viele Aufrufe in agentenbasierten Systemen und daher die Zukunft der agentenbasierten künstlichen Intelligenz.“

Was können kleine Modelle nicht leisten?

Kleine Modelle haben ihre Grenzen, und es wäre naiv, diese zu übersehen. Der größte Kompromiss betrifft die Breite des Wissens und die Fähigkeit zum logischen Denken. SLM schneiden bei Aufgaben schlechter ab, die ein ausgeprägtes Kontextverständnis oder mehrstufiges Schlussfolgern über unbekannte Bereiche hinweg erfordern. Wenn beim Helpdesk ein Ticket eingeht, das in keine der bestehenden Kategorien passt, kann ein kleines Modell dort scheitern, wo ein großes erfolgreich ist.

Microsoft räumt selbst ein, dass seine Phi-3-Modelle „in Tests zum Faktenwissen nicht so gut abschneiden, da die geringere Modellgröße zu einer niedrigeren Kapazität für die Speicherung von Fakten führt.“

Zu den weiteren Schwächen gehören Verzerrungen (Bias): Wenn die Trainingsdaten nicht sorgfältig aufbereitet werden, kann ein kleinerer Datensatz Verzerrungen noch verstärken. SLM sind außerdem anfälliger für Fehler in mehrdeutigen Situationen oder bei komplexen, mehrstufigen Social-Engineering-Angriffen.

Kleine Modelle lassen sich an die eigenen Anforderungen anpassen

Eine der größten Stärken von SLM ist ihre Anpassungsfähigkeit. Indem ein Modell mit branchenspezifischen Daten trainiert wird, lässt sich seine Leistung für eine konkrete Anwendung deutlich steigern. Dafür gibt es drei Möglichkeiten. Vollständiges Fine-Tuning trainiert alle Parameter mit neuen Daten neu, erfordert jedoch eine höhere Rechenleistung. LoRA (Low-Rank Adaptation) stimmt nur einige Schichten ab und ist daher schlanker und effizienter. Adapter und Prompt-Tuning fügen zusätzliche Schichten hinzu oder optimieren die Art und Weise, wie das Modell Anweisungen erhält.

Unternehmen sollten der Datenaufbereitung Priorität einräumen: Sie müssen die für das Fine-Tuning erforderlichen Daten sammeln, verwalten und organisieren. Unternehmensdaten werden zu einem entscheidenden Unterscheidungsmerkmal, und ihre Qualität, Versionierung und Struktur bestimmen, wie gut ein kleines Modell letztlich funktioniert.

SLM und große Modelle als Team

Auch große Sprachmodelle werden nicht von der Bildfläche verschwinden. In Unternehmen werden beide Arten weiterhin an Bedeutung gewinnen, wobei große Modelle ihren Vorteil beim offenen Schlussfolgern und bei der Breite des Wissens behalten.

Ein hybrider Ansatz sieht dann folgendermaßen aus: Kleine Modelle laufen direkt beim Kunden oder in der eigenen Infrastruktur und greifen bei Bedarf an größeren Datenmengen auf ein großes Modell in der Cloud zurück. Eine intelligente Weiterleitung der Anfragen entscheidet, welches Modell welche Aufgabe erhält. Einfache Anforderungen gehen an ein kleines Modell, komplexe an ein großes.

Solche Systeme ermöglichen es Unternehmen, SLM mithilfe von Anwendungen wie PocketPal auf Mobilgeräten oder über das Tool Ollama lokal auf einem Computer auszuführen. Ollama unterstützt Modelle wie Llama oder Phi-3.5 Mini mit minimalem Einrichtungsaufwand und ohne erforderliche Cloud-Verbindung.

Quellen: infoworld.com und ibm.com