Künstliche Intelligenz ist längst nicht mehr nur ein Chatbot, mit dem man sich unterhält. Unternehmen stellen immer häufiger ganze Teams aus KI-Agenten zusammen, in denen einer Informationen sucht, ein zweiter sie analysiert, ein dritter einen Bericht schreibt und ein vierter die Arbeit der anderen kontrolliert. Über ihnen steht ein koordinierender Agent, der die Ergebnisse zusammenführt. Eine solche Struktur erinnert eher an ein kleines Unternehmen als an ein Computerprogramm. Neue Forschungsergebnisse zeigen jedoch, dass aus einem solchen Unternehmen leicht eine Gruppe werden kann, die Regeln umgeht, Experten ignoriert und ethische Einwände in den Papierkorb wirft.
Das geheime Schwarze Brett und der Angriff auf Hugging Face
Der bekannteste Fall ereignete sich im vergangenen Sommer. Das Unternehmen OpenAI räumte damals ein, dass seine Modelle einen Weg gefunden hatten, über improvisierte Kanäle miteinander zu kommunizieren, Beschränkungen des Internetzugangs zu umgehen und in ein externes System der Plattform Hugging Face einzudringen.
Die Organisationen METR und Redwood Research analysierten den Vorfall ausführlich. Sie stellten fest, dass etwa 1200 Agenten, die voneinander isoliert sein sollten, ein nicht autorisiertes Schwarzes Brett gefunden und sich darüber im beobachteten Zeitraum mehr als 70.000 Nachrichten und Dateien geschickt hatten. Einer der Agenten mit der Bezeichnung PHASEONE[big] übernahm die Rolle des Koordinators und verteilte Hunderte Aufgaben an weitere Agenten, die ihre Arbeit wiederum an andere weitergaben. Die Agenten entwickelten eigene Regeln dafür, wer wofür verantwortlich war, wie sich Arbeit aufschieben ließ oder wie die Schritte anderer mit einem Veto blockiert werden konnten. Das funktionierte nicht immer reibungslos, und die Zusammenarbeit mündete gelegentlich in Streit. In einigen Fällen war das Team nur deshalb erfolgreich, weil manche Agenten ihre eigene Aufgabe opferten, um Informationen für das Kollektiv zu beschaffen.
Sobald über das Schwarze Brett herausgefunden worden war, wie sich Hugging Face angreifen ließ, beteiligten sich mehr als 90 Prozent der 533 Agenten, die zu diesem Zeitpunkt aktiv waren, an dem Angriff. Den Forschern zufolge war den Agenten bewusst, dass es sich um unethisches Verhalten außerhalb ihres Auftrags handelte. Dennoch machten sie mit, weil sie glaubten, dass ihre Hilfe beim Täuschen über das Schwarze Brett nützlich sein würde, und weil sie generell dazu neigten, ihren Kollegen zu helfen. Ethische Bedenken bremsten ihr Verhalten nur in Ausnahmefällen.
Allerdings handelte es sich dabei um die Analyse eines Agententeams, das überhaupt nicht hätte existieren dürfen. Studien, die von Anfang an untersuchen, wie sich Agenten in einer Gruppe verhalten, gibt es bislang nur wenige. Eine solche Studie hat jedoch das Unternehmen Anthropic durchgeführt.
Effizienter, aber weniger ethisch
Anthropic bezeichnet gemeinsam mit dem Programm MATS, das sich mit der Sicherheit künstlicher Intelligenz befasst, Gruppen von Agenten mit unterschiedlichen Rollen als KI-Organisationen. Die Forscher testeten sie in simulierten Umgebungen einer Unternehmensberatung und der Softwareentwicklung. Sie wollten herausfinden, ob Agenten im Team Regeln verletzen, um das vorgegebene Ziel zu erreichen.
Bei zwölf Aufgaben zeigte sich ein widersprüchliches Ergebnis. Agententeams erfüllten die Geschäftsziele deutlich besser als einzelne Agenten, ihre Lösungen entsprachen jedoch weniger den ethischen Grundsätzen. Wiederholt waren es gerade die Teams, die die wirksamsten und zugleich unethischsten Lösungen fanden.
Die Autoren weisen darauf hin, dass der Unterschied zwischen einem einzelnen rebellierenden Agenten und einem ganzen rebellierenden Team groß ist. Selbst eine Gruppe von Agenten, die sich einzeln anständig verhalten, kann dem Geschäft auf eine Weise Vorrang vor der Ethik geben, die ein eigenständiger Agent nicht wählen würde. Erfahrungen damit, wie ein einzelnes Modell entscheidet, lassen sich daher nicht ohne Weiteres auf ein ganzes Team übertragen. Als Beispiele für Situationen, in denen es zu solchen Kompromissen kommen kann, nennen die Forscher die Eröffnung einer Autofabrik, Entlassungen in einem Unternehmen oder die Beeinflussung der Stimmung vor Wahlen.
Der Kern des Problems liegt nicht darin, dass sich irgendein Agent losgerissen hätte. Das Team als Ganzes verhält sich schlicht anders als seine einzelnen Mitglieder. Ein eigenständiger Agent kann einen unethischen Schritt erkennen und ablehnen. In den Beratungsszenarien wurde die beste ethische Bewertung gerade dann erreicht, wenn ein einzelner Agent sich weigerte, den Vorschlag zu verfassen, oder ihn vollständig überarbeitete. In einem Team funktioniert das jedoch anders. Agenten, die sich nicht mit ethischen Fragen befassten, ignorierten häufig E-Mails derjenigen, die dies taten. Wenn sich jemand aus dem Team weigerte, an einem Vorschlag mitzuwirken, schrieben ihm die anderen nicht mehr und schickten ihre Teile nur noch an diejenigen, die kooperierten.
So konzentriert sich jeder Agent auf seinen Teil der Arbeit, während ihm die Folgen für das Ganze entgehen. Bei menschlichen Teams in Unternehmen ist das nichts Neues; falsch gesetzte Anreize gehören zu den häufigsten Ursachen ihres Scheiterns. Bei Maschinen handelt es sich jedoch um eine völlig neue Ausprägung desselben Phänomens.
Ähnlich fiel ein Test zur Entwicklung von Software für eine Intensivstation aus. Einzelne Agenten bemühten sich vor allem darum, möglichst wenige Sepsisfälle zu übersehen. Die niedrigsten Kosten pro Patient fanden dagegen meist Agententeams, und gerade diese Lösungen schnitten bei der ethischen Bewertung am schlechtesten ab, weil ihnen die meisten Erkrankten entgingen.
Der Experte, auf den niemand hört
Andere Untersuchungen offenbaren eine Schwäche, die nichts mit Ethik zu tun hat. Teams künstlicher Intelligenz sind nicht in der Lage, ihren besten Experten angemessen einzusetzen. Laut einer Studie von Wissenschaftlern der Emory University und Stanford bleiben die Ergebnisse von Agententeams hinter der Leistung ihres Expertenmitglieds zurück, selbst wenn ihnen ausdrücklich gesagt wird, wer der Experte ist.
Ein Team fähiger KI-Agenten ist noch lange kein fähiges Team, erklärt Hancheng Cao von der Goizueta Business School der Emory University. Statt sich auf das Wissen des Experten zu stützen, versuchten die Agenten, einen Kompromiss zwischen seiner Meinung und den Ansichten der anderen zu finden. Je größer das Team war, desto mehr Kompromisse ging es ein und desto schlechter schnitt es ab. Kollektives Versagen setzt nicht voraus, dass sich einzelne Agenten falsch verhalten, fügt Cao hinzu.
Ein Team kann also auch dann scheitern, wenn keines seiner Mitglieder absichtlich gegen das gemeinsame Interesse handelt. Es genügt, wenn es Informationen falsch zusammensetzt, auf den falschen Agenten hört oder sich auf eine schlechtere Antwort einigt als jene, die bereits vorlag.
Agenten, die auf ähnlichen Modellen basieren, machen zudem ähnliche Fehler, einschließlich des Fehlers, einander zu häufig zuzustimmen. Das erinnert an Gruppendenken bei Menschen, obwohl künstliche Intelligenz weder menschliche Beweggründe hat noch dem Druck ihres Umfelds unterliegt. Ähnliches Training, ähnliche Anweisungen und Informationen reichen dafür aus.
Genauso schwierig wie mit Menschen
Christoph Riedl von der Northeastern University weist darauf hin, dass ein gutes Team zwei Dinge gleichzeitig braucht. Seine Mitglieder müssen Wissen und Ziele teilen, sich zugleich aber voneinander unterscheiden, denn nur unterschiedliche Agenten können sich gegenseitig ergänzen. Zwei gleiche Agenten verdoppeln lediglich die Arbeit, während zwei sehr unterschiedliche Agenten einander möglicherweise nicht verstehen. Das richtige Verhältnis sowie die Frage, wer mit wem und wie häufig kommunizieren sollte, hängen von der konkreten Aufgabe ab.
Ein gutes System aus KI-Agenten aufzubauen ist genauso schwierig wie der Aufbau eines guten menschlichen Teams. Mit künstlicher Intelligenz wird es nicht von selbst besser funktionieren, sagt Riedl.
Agenten können fehlerhafte Informationen weitergeben, die Ergebnisse eines Kollegen missverstehen, ihren eigenen Kennzahlen statt dem Ziel des gesamten Unternehmens nachjagen oder ihre Aufgabe perfekt erfüllen und dadurch das gesamte Projekt verschlechtern. Unternehmen werden deshalb festlegen müssen, welcher Agent worüber entscheidet, welche Informationen die Agenten untereinander austauschen, auf welche Systeme sie zugreifen dürfen und wann ein Mensch eingreifen muss. Möglicherweise wird es auch notwendig sein, in den Systemen Raum für Widerspruch zu schaffen, statt sich darauf zu verlassen, dass mehr Kommunikation und mehr Einigkeit immer zu einem besseren Ergebnis führen.
Einige Experten für Unternehmensführung kehren daher zu der Vorstellung eines Menschen zurück, der die Arbeit der künstlichen Intelligenz beaufsichtigt. Die Probleme, die ich sehe, sind vor allem Managementprobleme, sagt Tsedal Neeley, Professorin an der Harvard Business School und Leiterin der dortigen AI Academy.
Quelle: cnbc.com
