Meta hat ein Update veröffentlicht, das alle freuen dürfte, die mit Computer Vision arbeiten. SAM 3.1, die neueste Version des Segment-Anything-Modells, bringt erhebliche Verbesserungen bei der Videoverarbeitung, ohne dass dafür der gesamte Workflow neu geschrieben werden muss. Es handelt sich nämlich um einen direkten Ersatz für die vorherige Version SAM 3.
Doch was ist SAM eigentlich? Die Abkürzung steht für Segment Anything Model, also ein Modell, das jedes beliebige Objekt in einem Bild oder Video finden, abgrenzen und verfolgen kann. Ganz gleich, ob es sich um einen Menschen, einen Regenschirm oder etwa ein Schnabeltier handelt.
Ein neuer Trick namens Multiplexing
Die vorherige Version des Modells verarbeitete jedes verfolgte Objekt einzeln, eines nach dem anderen. Das war langsam und unnötig rechenintensiv.
SAM 3.1 führt das sogenannte Object Multiplexing ein, eine Technik, mit der das Modell bis zu 16 Objekte gleichzeitig in einem einzigen Durchlauf verarbeiten kann. Das Ergebnis? Der Videodurchsatz auf einem einzigen H100-Grafikchip hat sich verdoppelt, von 16 auf 32 Bilder pro Sekunde. Und das bei der gleichzeitigen Verfolgung einer größeren Anzahl von Objekten.
Das bedeutet, dass Echtzeit-Tracking in komplexen Aufnahmen mit vielen beweglichen Elementen, das früher teure und leistungsstarke Hardware erforderte, nun auf deutlich bescheideneren Systemen bewältigt werden kann. Für Entwickler und kleinere Teams ist das ein wesentlicher Fortschritt.
Was konnte das frühere Modell SAM 3?
Um zu verstehen, was SAM 3.1 übernommen hat, lohnt sich ein Blick darauf, womit SAM 3 seit seiner ersten Veröffentlichung beeindruckte. SAM 3 ist ein einheitliches Modell zur Erkennung, Segmentierung und Verfolgung von Objekten in Bildern und Videos. Es verarbeitet Textanweisungen (etwa „gestreifter roter Regenschirm“), Beispielbilder sowie visuelle Hinweise wie Masken oder Punkte. Dadurch unterscheidet es sich deutlich von älteren Modellen, die nur mit einer fest vorgegebenen Liste von Kategorien arbeiteten.
Das Modell kann eine enorme Anzahl von Konzepten segmentieren, weil Meta eine Daten-Engine aufgebaut hat, die menschliche Datenverarbeitung mit KI-Modellen kombiniert. Dadurch entstanden mehr als 4 Millionen einzigartige Konzepte in den Trainingsdaten. Die Datenannotation erfolgte bei negativen Beispielen etwa fünfmal schneller als durch rein menschliche Arbeit und bei schwierigeren Beispielen um 36 % schneller.
Beim Aufbau von SAM 3 begann Meta nicht bei null. Das Modell basiert auf mehreren bewährten Komponenten. Der Text- und Bildencoder stammt aus dem Meta Perception Encoder, einem offenen Modell, das Meta im April des Vorjahres veröffentlicht hatte. Der Detektor baut auf dem Modell DETR auf, dem ersten System, das Transformer zur Objekterkennung einsetzte. Die Speicherbank basiert auf der vorherigen Modellgeneration SAM 2.
Das Ergebnis ist ein System, das in Benchmarks sowohl große Sprachmodelle wie Gemini 2.5 Pro als auch spezialisierte Werkzeuge wie OWLv2 oder GLEE übertrifft. In Tests bevorzugten Nutzer die Ausgaben von SAM 3 gegenüber denen von OWLv2 in einem Verhältnis von etwa drei zu eins.
Wo wird ein solches Modell eingesetzt?
Forschungsergebnisse sind schön und gut, aber wie sieht es in der Praxis aus? Meta hat das Modell nicht im Labor eingeschlossen. Auf Facebook Marketplace unterstützt SAM 3 die Funktion „Im Raum anzeigen“, mit der Nutzer ein Möbelstück virtuell in ihrem Raum platzieren können, bevor sie es kaufen. Eine Art „IKEA-Effekt“ für den Online-Einkauf.
In der App Edits, dem Videoproduktionstool von Instagram, werden bald Effekte hinzukommen, die auf SAM 3 basieren. Kreative werden dynamische Effekte mit nur einem Fingertipp auf eine bestimmte Person oder ein bestimmtes Objekt im Video anwenden können. Was früher Stunden im Schnittraum dauerte, erledigt das Modell in Sekunden.
Meta arbeitete außerdem mit den Organisationen Conservation X Labs und Osa Conservation zusammen, um einen öffentlich verfügbaren Datensatz zur Beobachtung von Wildtieren zu erstellen. Der Datensatz SA-FARI enthält mehr als 10.000 Videos aus Kamerafallen mit über 100 Tierarten, versehen mit Begrenzungsrahmen und Segmentierungsmasken für jedes Tier in jedem Bild. Genau diese Art der Nutzung verleiht der gesamten Arbeit rund um KI einen Sinn.
Was noch verbessert werden kann
Es wäre unfair zu behaupten, dass SAM 3.1 alles bewältigen kann. Das Modell hat bislang Schwierigkeiten, Fachbegriffe zu erkennen, die Expertenwissen erfordern, wie etwa „Blutplättchen“ in einer medizinischen Aufnahme. Mit kurzen, allgemeinen Beschreibungen funktioniert es hervorragend, komplexere Anweisungen wie „das zweite Buch von rechts im obersten Regal“ übersteigen jedoch bislang seine Fähigkeiten.
Meta erklärt offen, dass sich das Modell durch eine Feinabstimmung mit einer kleinen Datenmenge schnell an neue Konzepte anpassen lässt. Der Code für die Feinabstimmung des Modells ist Teil der öffentlichen Veröffentlichung, sodass die Forschungsgemeinschaft und Unternehmen SAM 3.1 an ihre spezifischen Anforderungen anpassen können. Die Zusammenarbeit mit der Plattform Roboflow ermöglicht es zudem, Daten zu annotieren, das Modell feinabzustimmen und es ohne tiefgehende technische Kenntnisse in der Praxis einzusetzen.
Sowohl das Modell als auch der Checkpoint von SAM 3.1 sind frei verfügbar auf HuggingFace und GitHub, sodass sie jeder erkunden und ausprobieren kann.
