Runway, ein Unternehmen, das vor allem für die Videogenerierung bekannt ist, hat das Modell Solaris vorgestellt. Es ist das erste Modell aus einer neuen Gruppe von Systemen, die das Unternehmen Interface World Models nennt, also Weltmodelle für Benutzeroberflächen. Solaris erzeugt keinen Code, den anschließend ein Browser rendert. Es rendert die Benutzeroberfläche selbst, Bild für Bild, in Echtzeit und entsprechend dem, was der Nutzer gerade tut. Wenn Sie auf eine Schaltfläche klicken, wird keine Ereignisbehandlung ausgelöst. Das Modell zeichnet einfach das nächste Bild mit dem, was nach dem Klick geschehen ist.
Runway betrachtet die Sache anders
Runway baut die gesamte Idee auf einem Problem auf. Jedes Betriebssystem, von alten Terminals bis hin zu Linux und macOS, bestimmt, was auf dem Bildschirm erscheint und was geschieht, wenn jemand darauf klickt. Anwendungen laufen dann im Rahmen dessen, was ihnen das Betriebssystem erlaubt, und ändern sich erst, wenn die Entwickler ein Update veröffentlichen. Solaris umgeht dieses Schema und rendert den Bildschirm direkt selbst.
Softwareentwürfe sind heute visueller als je zuvor. Bildmodelle können einen ganzen Bildschirm so generieren, dass er kaum von einem fertigen Produkt zu unterscheiden ist. Ein Bild funktioniert jedoch nicht wie eine Website oder eine Anwendung. Zwischen Entwurf und fertigem Produkt steht nach wie vor die Übersetzung in eine Zwischensprache, üblicherweise in Code, wodurch laut Runway auf beiden Seiten Möglichkeiten verloren gehen. Jedes Verhalten muss im Voraus beschrieben und programmiert werden, sodass die fertige Software lediglich einen verkleinerten Ausschnitt dessen darstellt, was ein Nutzer möglicherweise tun möchte. Gleichzeitig geht dabei der visuelle Reichtum des ursprünglichen Entwurfs verloren.
Solaris übernimmt das Rendern und reagiert zugleich auf Eingaben. Ein einziges Modell generiert sowohl jedes Bild als auch jede Antwort auf eine Aktion des Nutzers. Es gibt keinen Konvertierungsschritt, sodass laut Runway nichts verloren geht und das gesamte Bild zur Benutzeroberfläche wird.
Drei Dinge, die es anders macht
Das Erste ist die rein visuelle Natur. Wenn das Bild zugleich die Anwendung ist, wird unter dem, was der Nutzer sieht, keine zweite, verborgene Implementierung benötigt. Runway demonstriert dies anhand eines virtuellen Bekleidungsgeschäfts, in dem der Ausstellungsraum selbst die Benutzeroberfläche bildet. Ein einziges Foto des Nutzers als Vorlage genügt. Der Nutzer kann dann ein Hemd vom Ständer nehmen, es auf sich ziehen und anprobieren oder auch die gesamte Auslage ähnlich wie in einem stationären Geschäft umgestalten.
Die zweite Eigenschaft besteht darin, dass die Szene lebendig ist. Die Anwendung wird fortlaufend gerendert, sodass sie sich ständig verändert und nicht auf die nächste Aktion wartet. Reflexionen verschieben sich je nach Lichteinfall und Gegenstände reagieren, wenn jemand sie bewegt. Der Nutzer kann eine Anweisung wie „Verschiebe den Tisch, damit ich sehe, wie es aussieht“ oder „Ändere die Farbe des Sofas“ eingeben. Runway zufolge fühlt sich das Ergebnis weniger wie das Klicken durch vorgefertigte Seiten und mehr wie die Bewegung in einer lebendigen Umgebung an.
Ein weiterer Punkt ist die Offenheit. Klassische Benutzeroberflächen können nur das, was die Entwickler bei der Programmierung vorgesehen haben. Solaris kann in derselben Szene auch völlig andere Verhaltensweisen unterstützen, weil es die Eingaben zur Laufzeit auswertet. Runway zeigt ein und dasselbe Ausgangsbild, das Röntgenbild einer Hand, das auf dieselbe Ziehbewegung auf zwei vollkommen unterschiedliche Arten reagieren kann.
Das Unternehmen überdenkt auch die Maus selbst. Wenn Interaktionen statt durch Programmierung in natürlicher Sprache beschrieben werden, müssen sie nicht im Voraus festgelegt sein, und jeder Gegenstand in der Szene kann zu einem Werkzeug werden. Sie klicken auf eine Katze, und mit weiteren Klicks übertragen Sie die Farbe und Struktur ihres Fells auf alles, was Sie berühren. Sie klicken auf ein Gemälde und beginnen, in dessen Stil zu zeichnen.
Woraus Solaris aufgebaut ist
Solaris basiert auf dem Videogenerierungsmodell Gen-4.5 und setzt die Richtung fort, die Runway mit dem allgemeinen Weltmodell GWM-1 eingeschlagen hat. Das Unternehmen hat das Modell so angepasst, dass es Interaktionen versteht und sofort reagiert. Solaris behandelt die Eingabe des Nutzers als Bedingung für das nächste Bild, ähnlich wie Text oder ein Bild. Während der Generierung verfolgt es Klicks, Ziehbewegungen und weitere Aktionen und nutzt sie als Orientierung dafür, was als Nächstes geschehen soll. Da es stets nur die bereits erfolgten Interaktionen sieht, lernt es den Zusammenhang zwischen einer Aktion und deren visueller Folge. Es muss ihm daher niemand einprogrammieren, was nach einem Klick oder einer Ziehbewegung geschehen soll.
Die Geschwindigkeit war laut Runway das größte Hindernis. Bei einer Verzögerung von etwa einer halben Sekunde fühlt sich die Interaktion nicht mehr natürlich an, während herkömmliche Diffusionsmodelle für einen Clip Sekunden oder Minuten benötigen. Runway löste dies in drei Schritten. Zunächst wurde dem Modell beigebracht, Bilder schrittweise zu generieren, wobei jedes nur vom vorherigen Kontext abhängt. Anschließend wurde der lange Entrauschungsprozess auf wenige Schritte verkürzt. Schließlich trainierte das Unternehmen ein schnelles Modell mit dessen eigenen Ausgaben, damit das Bild auch bei längerem Betrieb stabil bleibt. Dieselbe Anpassung, die das Modell beschleunigte, machte seinen Betrieb laut dem Unternehmen zugleich um Größenordnungen günstiger als den eines herkömmlichen Diffusionsmodells für Videos.
Entscheidungsfindung und Rendering sind dabei voneinander getrennt. Solaris zeichnet Bild für Bild, während ein Sprachmodell bestimmt, wie sich die Benutzeroberfläche entwickelt. Dieses liest die Anforderungen des Nutzers und entscheidet, ob eine Interaktion lediglich die aktuelle Szene verändern oder zu einer neuen wechseln soll. Es beschreibt außerdem Verhaltensweisen, die die Szene lebendig halten, und erstellt Vorgaben, nach denen Solaris zeichnet. Der Nutzer liefert einen Ausgangszustand, beispielsweise eine Markenumgebung oder eine Produktszene, und das Modell streamt anschließend Bilder in Echtzeit. Im System gibt es keine vorgefertigten Bildschirme oder Vorlagen, zu denen man zurückkehren könnte.
Einsatzmöglichkeiten und Schwächen
Heutige Sprachmodelle kommen dem Unternehmen zufolge nicht einmal mit grundlegenden Computeraufgaben zurecht, etwa mit der Buchung eines Hotels oder dem Einkauf von Lebensmitteln. Sie werden nämlich anhand programmierter Benutzeroberflächen trainiert, lernen also ein bestimmtes Layout und kommen mit einer etwas anders aufgebauten Seite, beispielsweise der Website eines anderen Hotels, nicht mehr zurecht. Solaris kann einem Agenten eine Umgebung bieten, die sich ständig verändert, einschließlich Layouts, die nie zuvor existiert haben.
Derzeit bereitet dem Modell Text die größten Schwierigkeiten. Eine stabile und lesbare Schrift gehört zu den schwierigsten Aufgaben der Videogenerierung, während Benutzeroberflächen stärker auf Text angewiesen sind als fast alles andere. Ein möglicher Weg führt über eine Kombination, bei der Bildmodelle textbasierte Bildschirme rendern, wenn eine kurze Pause nicht stört, während sich das Videomodell um die flüssige Interaktion kümmert.
Ein weiteres Problem ist die Zuverlässigkeit. In Lern- oder Geschäftssituationen ist eine überzeugend wirkende falsche Antwort schlimmer als gar keine. Solaris hält sich bislang an das, was ihm der Nutzer zur Verfügung stellt. Das Ausgangsbild kann aus echten Produktfotos und Materialien zusammengesetzt werden, wodurch die Szene in tatsächlich existierenden Objekten verankert wird. Das Unternehmen erforscht weiterhin, wie die Generierung bei längerem Betrieb an geprüfte Grundlagen, also an Referenzbilder, Produktdaten und Dokumente, angebunden werden kann. Problematisch bleiben lange Sitzungen, bei denen es schwierig ist, sowohl das Bild als auch die Bedeutung konsistent zu halten, sowie die Barrierefreiheit, da die generierte Benutzeroberfläche auch mit Screenreadern und ähnlichen Hilfsmitteln zusammenarbeiten können muss.
Solaris läuft mit einer Auflösung von 720p, und Runway positioniert es als ersten Schritt zu einer neuen Bedienebene. Das Unternehmen erhofft sich davon, dass die Anwendung nicht länger die grundlegende Einheit ist, mit der der Nutzer arbeitet. Wenn ein Betriebssystem die Benutzeroberfläche selbst generieren kann, ist es schließlich wenig sinnvoll, Software in einen festen Anwendungskatalog einzuordnen. Ein Geschäft muss demnach kein festes Layout mehr haben, das für alle gleich aussieht, und eine Anleitung muss nicht jedem dieselbe Abfolge von Schritten zeigen.
Das Modell ist bislang nicht öffentlich verfügbar.
