Warum die ehemalige KI-Forschungschefin von Cohere gegen das Wettrüsten bei der Modellgröße setzt

Sara Hooker, die zuvor als Vizepräsidentin für KI-Forschung bei Cohere tätig war und außerdem bei Google Brain arbeitete, hat sich entschieden, im Bereich der KI einen anderen Weg einzuschlagen. Sie verließ Cohere im August und gründete gemeinsam mit Sudip Roy, einem weiteren Veteranen von Cohere und Google, das Startup Adaption Labs. Dieses neue Projekt konzentriert sich auf die Entwicklung von Systemen künstlicher Intelligenz, die sich kontinuierlich anpassen und äußerst effizient aus realen Erfahrungen lernen können. Hooker gab dies auf der Plattform X bekannt und erwähnte, dass sie Talente für ihr Team in den Bereichen Engineering, Betrieb und Design suchen.

KI-Labore bauen derzeit Rechenzentren von der Größe Manhattans, die jeweils Milliarden Dollar kosten und so viel Energie wie kleine Städte verbrauchen. Angetrieben werden diese Bemühungen von einem tiefen Glauben an die „Skalierung“ – die Vorstellung, dass das Hinzufügen von immer mehr Rechenleistung zu bestehenden Methoden des KI-Trainings letztlich superintelligente Systeme hervorbringen wird, die verschiedenste Aufgaben bewältigen können. Eine wachsende Gruppe von KI-Forschern ist jedoch der Ansicht, dass die Skalierung großer Sprachmodelle an ihre Grenzen stößt und andere Durchbrüche erforderlich sein werden, um die Leistungsfähigkeit von KI zu verbessern.

Kritik am derzeitigen Skalierungsansatz

Hooker erklärte in einem Interview, dass die Skalierung großer Sprachmodelle zu einer ineffizienten Methode geworden sei, um mehr Leistung aus KI-Modellen herauszuholen. Ihrer Ansicht nach ist ein Wendepunkt erreicht, an dem klar wird, dass die bloße Vergrößerung dieser Modelle – auf Skalierung ausgerichtete Ansätze, die attraktiv, aber extrem langweilig sind – keine Intelligenz hervorbringt, die sich in der Welt orientieren oder mit ihr interagieren kann. Adaption Labs will beweisen, dass das Lernen aus der Umgebung wesentlich kostengünstiger sein kann.

Ein Beispiel für Anpassung ist eine Situation, in der sich jemand den Zeh am Esstisch stößt und beim nächsten Mal vorsichtiger an ihm vorbeigeht. KI-Labore haben versucht, diese Idee durch bestärkendes Lernen (Reinforcement Learning, RL) abzubilden, das es KI-Modellen ermöglicht, in kontrollierten Umgebungen aus Fehlern zu lernen. Die derzeitigen RL-Methoden helfen KI-Modellen im Produktiveinsatz – also Systemen, die bereits von Kunden genutzt werden – jedoch nicht dabei, in Echtzeit aus Fehlern zu lernen. Diese Modelle stoßen einfach immer wieder gegen denselben Tisch.

Einige KI-Labore bieten Beratungsdienste an, um Unternehmen dabei zu helfen, ihre KI-Modelle auf spezifische Anforderungen abzustimmen, doch das hat seinen Preis. OpenAI verlangt Berichten zufolge, dass Kunden mehr als 10 Millionen Dollar bei dem Unternehmen ausgeben, bevor es seine Beratungsdienste zur Feinabstimmung anbietet.

Wachsende Zweifel in der Branche

Adaption Labs ist das jüngste Anzeichen dafür, dass das Vertrauen der Branche in die Skalierung großer Sprachmodelle schwindet. Eine aktuelle Studie von Forschern des MIT kam zu dem Ergebnis, dass die größten KI-Modelle bald abnehmende Erträge erzielen könnten. Die Stimmung in San Francisco verändert sich. Der beliebte KI-Podcaster Dwarkesh Patel führte kürzlich skeptische Gespräche mit führenden KI-Forschern.

Richard Sutton, Träger des Turing-Preises und als „Vater des RL“ bekannt, sagte Patel im September, dass große Sprachmodelle nicht wirklich skalierbar seien, weil sie nicht aus realen Erfahrungen lernen. Diesen Monat erklärte Andrej Karpathy, ein früher Mitarbeiter von OpenAI, gegenüber Patel, dass er Vorbehalte hinsichtlich des langfristigen Potenzials von RL zur Verbesserung von KI-Modellen habe.

Diese Bedenken sind nicht beispiellos. Ende 2024 äußerten einige KI-Forscher die Sorge, dass die Skalierung von KI-Modellen durch Vortraining – bei dem KI-Modelle Muster aus riesigen Datenmengen lernen – auf abnehmende Erträge stoße. Bis dahin war das Vortraining das Geheimrezept von OpenAI und Google zur Verbesserung ihrer Modelle.

Diese Bedenken hinsichtlich der Skalierung des Vortrainings zeigen sich inzwischen in den Daten, doch die KI-Branche hat andere Wege gefunden, um Modelle zu verbessern. Im Jahr 2025 steigerten Durchbrüche bei KI-Modellen für logisches Denken, die sich vor der Beantwortung zusätzliche Zeit nehmen und mehr Rechenressourcen zur Problemlösung einsetzen, die Fähigkeiten von KI-Modellen noch weiter.

Pläne und Ziele von Adaption Labs

Die KI-Labore scheinen überzeugt zu sein, dass die Skalierung von RL und KI-Modellen für logisches Denken die neue Grenze darstellt. Forscher von OpenAI erklärten zuvor, sie hätten ihr erstes KI-Modell für logisches Denken, o1, entwickelt, weil sie davon ausgingen, dass es sich gut skalieren ließe. Forscher von Meta und Periodic Labs veröffentlichten kürzlich eine Studie, die untersucht, wie RL die Leistung weiter skalieren könnte – eine Studie, die Berichten zufolge mehr als 4 Millionen Dollar kostete und damit unterstreicht, wie teuer die derzeitigen Ansätze weiterhin sind.

Adaption Labs strebt hingegen einen weiteren Durchbruch an und will beweisen, dass das Lernen aus Erfahrungen wesentlich kostengünstiger sein kann. Laut drei Investoren, die die Präsentationen des Startups gesehen haben, verhandelte es zu Beginn des Herbstes über eine Seed-Finanzierungsrunde in Höhe von 20 bis 40 Millionen Dollar. Ihren Angaben zufolge wurde die Runde inzwischen abgeschlossen, obwohl die endgültige Summe unklar ist. Hooker lehnte eine Stellungnahme ab.

Hooker leitete zuvor Cohere Labs, wo sie kleine KI-Modelle für den Einsatz in Unternehmen trainierte. Kompakte KI-Systeme übertreffen ihre größeren Pendants inzwischen regelmäßig in Benchmarks wie Programmierung, Mathematik und logischem Denken – ein Trend, den Hooker weiter vorantreiben will. Sie hat sich außerdem einen Ruf dafür erworben, den Zugang zur KI-Forschung weltweit zu erweitern, indem sie Talente aus unterrepräsentierten Regionen wie Afrika einstellt. Während Adaption Labs bald ein Büro in San Francisco eröffnen wird, erklärt Hooker, dass sie weltweit Personal einstellen will.

Hooker sagte, dass es nur eine Handvoll führender Labore gebe, die eine Reihe von KI-Modellen festlegten, die allen auf die gleiche Weise bereitgestellt würden und deren Anpassung sehr teuer sei. Ihrer Ansicht nach muss das nicht länger der Fall sein, und KI-Systeme können äußerst effizient aus ihrer Umgebung lernen. Dies zu beweisen, würde die Dynamik dessen, wer KI kontrolliert und gestaltet und letztlich wem diese Modelle dienen, vollständig verändern.

Quelle: techcrunch.com