Olivia Koshy, die im Produktmanagement bei Hex tätig ist, beschrieb ihre Erfahrungen aus den vergangenen Jahren. Während eines Gesprächs mit einem Freund, der ebenfalls an KI-Produkten arbeitet, wurde ihnen klar, dass viele Projekte, die wie Fehlschläge aussahen, dank des rasanten technologischen Fortschritts plötzlich erfolgreich wurden. Funktionen, an denen sie früher ein ganzes Quartal lang arbeiteten, lassen sich heute innerhalb weniger Wochen fertigstellen. Diese Erfahrung führte sie zur sogenannten „bitteren Lektion“ im Kontext der Entwicklung von KI-Produkten.
Diese Lektion beruht auf langfristiger Forschung im Bereich der künstlichen Intelligenz (KI), die gezeigt hat, dass Methoden, die Rechenleistung nutzen, letztlich am effektivsten sind. In der Praxis bedeutet das, dass man nicht versuchen sollte, KI mithilfe komplexer technischer Lösungen an bestehende Pläne anzupassen. Viele solcher Lösungen veralten mit dem Erscheinen eines neueren Modells, das mit größeren Datenmengen und mehr Rechenleistung trainiert wurde. Stattdessen ist es besser, sich darauf zu konzentrieren, die Fähigkeiten der Modelle zu verstehen und die Pläne entsprechend anzupassen.
Olivia Koshy stellt nun Fragen wie: Welchen einzigartigen Wert bieten wir, den andere nicht ohne Weiteres nachahmen können? Wie können wir die sich weiterentwickelnden Fähigkeiten der Modelle nutzen? Bauen wir etwas, das sich mit besseren Modellen verbessert, oder umgehen wir lediglich ihre derzeitigen Schwächen? Nach mehr als zwei Jahren der Entwicklung von KI-Funktionen haben sie bei Hex auch ihre Arbeitsweise geändert: Sie haben sich von Demos verabschiedet, verfolgen Veränderungen bei den Fähigkeiten der Modelle und beenden Projekte, die nicht funktionieren, schneller. Diese Änderungen waren keineswegs selbstverständlich und erfolgten nach vielen Fehlern.
Der erste gescheiterte Versuch mit dem Notebook Agent
Der Notebook Agent wurde zu einem großen Erfolg bei den Kunden, doch seine grundlegende Idee stammt bereits vom Anfang des Jahres 2023. Das Team bei Hex war überzeugt, dass dies die Zukunft sei, und es hatte recht – es war nur zu früh dran. Ein ganzes Jahr lang versuchte es, den Notebook Agent mit einem einfachen Ziel zu entwickeln: Die Nutzer stellen eine Frage zu den Daten, und die KI generiert SQL, Diagramme und Python-Code, um sie zu beantworten. Die Modelle waren damals noch nicht für komplexe mehrstufige Schlussfolgerungen bereit, weshalb das Team eine Reihe cleverer Lösungen entwickelte, um die Defizite zu umgehen.
Beispielsweise blieb das Modell oft in einer Endlosschleife hängen und erstellte ununterbrochen neue Zellen, wenn es selbst auswählte, welche Zelle es als Nächstes erstellen sollte. Deshalb ließ das Team das Modell zunächst eine Zellvorlage auswählen – etwa SQL, SQL plus Diagramm, Python oder Python plus Diagramm. Anschließend generierte es auf Grundlage der ausgewählten Vorlage den Code für jede Zelle in einem einzigen Versuch. Die Funktion sah in Demos beeindruckend aus, scheiterte jedoch bei allem, was etwas komplexer war. Der „Agent“, der heute eher als Workflow (Arbeitsablauf) bezeichnet wird, hatte Schwierigkeiten, die richtigen Daten auszuwählen, und wenn ihm das gelang, stieß er auf zu viele unerwartete Probleme und konnte sich davon nicht erholen.
Das Team arbeitete länger als sinnvoll daran weiter, weil bereits viel Zeit investiert worden war und es fest an seine Expertise im Bereich Notebooks glaubte. Es war schwer, sich einzugestehen, dass es nicht funktionierte. Als später das Modell Sonnet 3.5 erschien und deutliche Verbesserungen brachte, war das Team nicht besonders motiviert, das Projekt wieder aufzunehmen, weil sich die ursprüngliche Version zu lange hingezogen hatte.
Geblendet von einem „ausreichend guten“ Ergebnis
Die Erstellung ansprechender interaktiver Visualisierungen mit KI hatte bereits seit Jahren Priorität. Im Oktober 2024 veröffentlichte Hex die Funktion Explore, mit der sich Daten mithilfe neuer Möglichkeiten wie Pivot-Tabellen, Summen, Diagrammen und tabellenkalkulationsähnlichen Funktionen visualisieren lassen. Bei der Veröffentlichung sagte sich das Team, dass dies auch mit seiner KI funktionieren sollte. Es unterschätzte die Komplexität – es sah wie eine einfache Zelle aus, tatsächlich handelte es sich jedoch um eine komplexe JSON-Struktur ähnlich einer Vega-Spezifikation, mit unterschiedlichen Regeln je nach Art der Visualisierung.
Das Team entwickelte einen zweistufigen Generierungsprozess, der Schlussfolgerungsmodelle wie o3 und ein kleines feinabgestimmtes Modell für die eigentliche Visualisierung nutzte. Das funktionierte ziemlich gut, und genau das war möglicherweise das größte Problem. Weil es ziemlich gut funktionierte, konzentrierte sich das Team auf die Optimierung der bestehenden Lösung und übersah die neuen Fähigkeiten der Modelle. Es verpasste den Übergang zum Aufruf von Werkzeugen für komplexe Aufgaben, anstatt weiterhin seine zweistufige Generierung einer JSON-Spezifikation zu verwenden.
Als das Team mit der Entwicklung eines Frameworks für agentenbasierte Werkzeuge begann, wurde deutlich, dass ein einfacher Ansatz mit Werkzeugaufrufen zehnmal besser war. Seitdem hat es Threads veröffentlicht, mit denen jeder in der Organisation Datenfragen selbstständig und auf Grundlage eines vertrauenswürdigen Kontexts beantworten kann. Diese Funktion ist wesentlich leistungsfähiger als alles Vorherige und übertraf innerhalb weniger Wochen das, was zuvor Monate gedauert hatte. Threads kann mehrere native Explore-Visualisierungen erstellen und nützliche Ergebnisse wie Zusammenfassungen und Visualisierungen bereitstellen. Wieder einmal bestätigte sich die bittere Lektion: Die cleveren technischen Lösungen des Teams wurden allein durch die Nutzung verbesserter Modelle übertroffen.
Was sie heute anders machen
Auf Grundlage der Erfahrungen der vergangenen Jahre hat Hex seinen Ansatz zur Entwicklung von KI-Funktionen geändert. Das Grundprinzip besteht darin, eine Funktion den Nutzern zur Verfügung zu stellen, bevor sie fertig ist. Wenn das Team sie Beta-Kunden zeigt, handelt es sich nicht um eine Demo – es lässt sie die Funktion einfach direkt verwenden. Wenn das Treffen eher wie eine Fehlersuche aussieht, weiß das Team, dass es noch nichts Funktionsfähiges hat. Die eigentliche Validierung erfolgt im chaotischen Umfeld der Kunden. Wollen sie die Funktion trotz ihrer Unvollkommenheiten nutzen? Aus persönlicher Erfahrung weiß Olivia Koshy, dass KI-Demos in der Realität oft nicht funktionieren und man sich leicht einreden kann, etwas Nützliches gebaut zu haben.
Eine weitere Änderung besteht darin, Veränderungen bei den Fähigkeiten der Modelle zu verfolgen. Modelle wie Sonnet 3.5 und 3.7 brachten große Fortschritte, die das Team nicht ausreichend berücksichtigte. Es nutzte sie intern, schöpfte ihr Potenzial jedoch nicht vollständig aus und hielt an der alten Denkweise mit RAG (abrufgestützter Generierung) und mehreren Versuchen fest. Die Veröffentlichung des Agent Mode von Cursor und von Claude Code im Februar 2025 zeigte, dass Agenten tatsächlich funktionieren. Die Hauptaufgabe derjenigen, die für die Planung verantwortlich sind, besteht nicht nur darin zu prüfen, ob eine Idee gut ist und die Kunden sie wollen, sondern auch, ob die Modelle sie heute umsetzen können. Falls nicht, kann auch keine komplexe technische Lösung das Projekt retten.
Schließlich beendet das Team Projekte schneller. Sobald es erkennt, dass es Lösungen entwickeln muss, um unzureichende Intelligenz zu kompensieren, stoppt es das Projekt. Es ist leicht, ein Team aufgrund der bereits investierten Zeit oder eines zugesagten Veröffentlichungstermins weitermachen zu lassen – aber vergessen Sie den Termin. Wenn es dazu kommt, feiern Sie den Fehlschlag, sofern das Team schnell die Richtung ändern konnte. Die Fähigkeit zu sagen: „Nein, das funktioniert nicht“, ist oft die schwierigste Fähigkeit überhaupt, und man braucht Führungskräfte, die dies auch unter Druck bewältigen.
Darüber hinaus greift das Team gescheiterte Ideen alle drei Monate oder bei der Veröffentlichung eines neuen Modells erneut auf. Manchmal war man einfach nur ein wenig zu früh dran.
Der Grund, diese Fehlschläge zu teilen, besteht darin, sie zu feiern. Es ist schwer, das eigene Ego beiseitezulassen, wenn man erkennt, dass mehrere Dinge nicht funktioniert haben. Doch Olivia Koshy rät dazu, etwas nachsichtig mit sich selbst zu sein; schließlich entwickeln alle in einem neuen Bereich, dessen Grundlagen sich täglich verändern. Es ist anspruchsvoll, aber zugleich die aufregendste Zeit, um etwas zu erschaffen.
Quelle: hex.tech
