Vorfälle in generativen KI-Cloud-Diensten: Umfassende Studie enthüllt wesentliche Unterschiede zu herkömmlichen Diensten
Das rasante Wachstum der generativen künstlichen Intelligenz (GenAI) und insbesondere großer Sprachmodelle wie GPT-4 hat die Cloud-Dienste revolutioniert, aber auch neue Herausforderungen im Bereich der Zuverlässigkeit und des Vorfallmanagements mit sich gebracht. Eine umfassende empirische Studie eines Forscherteams von Microsoft, der University of Illinois und weiteren renommierten Institutionen enthüllt faszinierende Erkenntnisse darüber, wie sich Vorfälle in GenAI-Cloud-Diensten grundlegend von Vorfällen in herkömmlichen Cloud-Diensten unterscheiden.
Deutlicher Anstieg der Vorfälle mit dem Aufkommen der GPT-Modelle
Die Studie analysierte Vorfälle in den GenAI-Cloud-Diensten von Microsoft über einen Zeitraum von vier Jahren, von Juni 2020 bis Februar 2024. Die Ergebnisse zeigen eine dramatische Entwicklung, die direkt mit der Markteinführung der einzelnen GPT-Modelle verbunden ist. Vor der Veröffentlichung von GPT-3.5 im März 2022 machten GenAI-Vorfälle lediglich 3% aller Vorfälle innerhalb der Cloud-Dienste aus. Nach 2023, insbesondere nach der Einführung von GPT-4 im März 2023, kam es zu einem deutlichen Anstieg – die Zahl der Vorfälle erhöhte sich im Vergleich zur GPT-3.5-Ära nahezu um das Zehnfache. Dieser dramatische Anstieg lässt sich auf die weltweite Beliebtheit der GPT-Modelle zurückführen, die Millionen von Nutzern auf der ganzen Welt angezogen haben. Der Trend zeigte sich über alle Schweregrade der Vorfälle hinweg, wobei Vorfälle mit geringeren Auswirkungen die Mehrheit der Fälle ausmachten. Die wachsende Beliebtheit von Diensten wie ChatGPT, das bereits in der ersten Woche nach seiner Einführung mehr als eine Million Nutzer gewann, trug maßgeblich zu diesem Trend bei.
Drei Hauptkategorien von Symptomen bei GenAI-Vorfällen
Die Forscher identifizierten drei wesentliche Kategorien von Symptomen, die Vorfälle in GenAI-Cloud-Diensten charakterisieren. Leistungseinbußen stellen das häufigste Problem dar und treten in 49,8% der Fälle auf. Diese Kategorie umfasst vor allem Beeinträchtigungen auf Dienstebene (27,2%), bei denen mehrere APIs innerhalb eines GenAI-Dienstes gleichzeitig ausfallen können, was die allgemeine Verfügbarkeit und Leistung des Dienstes beeinträchtigt. Der zweite Typ sind Beeinträchtigungen auf API-Ebene (22,6%), bei denen es zu Verzögerungen bei einer bestimmten GenAI-API kommt. Fehler bei der Bereitstellung machen 35,7% der Vorfälle aus und spiegeln Auswirkungen auf die Kontinuität der GenAI-Dienste wider. Diese Kategorie umfasst Fehler bei der Bereitstellung von Modellen (12,0%), wenn beispielsweise nicht alle von den Nutzern feinabgestimmten Modelle rechtzeitig in einer bestimmten Bereitstellungsregion bereitgestellt werden können. Einen weiteren bedeutenden Anteil bilden Fehler bei der Bereitstellung von Ressourcen (14,4%), da GenAI-Cloud-Dienste stark von der Bereitstellung verschiedener Ressourcentypen abhängen, darunter Rechen-, Netzwerk- und Speicherressourcen zur Verarbeitung, Übertragung und Speicherung enormer Datenmengen. Fehler bei Feinabstimmungs-APIs (9,3%) stellen den dritten Typ dar und treten auf, wenn es beim Aufrufen von APIs zur Feinabstimmung von Modellen zu Problemen kommt. Ungültige Inferenz tritt zwar mit dem geringsten Prozentsatz der Fälle (14,5%) auf, stellt jedoch möglicherweise die größte Herausforderung für die Kernfunktionalität von GenAI-Diensten dar. Eine Verschlechterung der Antwortqualität (10,7%) kann dazu führen, dass Modelle selbst bei einfachen Nutzeranweisungen minderwertige Inhalte erzeugen oder ungültige Inhalte erstellen, wenn das Modell die Nutzeranweisung nicht verstehen kann. Fehlfunktionen von Inhaltsfiltern (3,8%) stellen ein weiteres kritisches Problem dar, da Filter Fehler enthalten können, die zu einer falschen Filterung gültiger Anweisungen oder Antworten führen.
Infrastruktur als Hauptursache der Probleme
Die Analyse der Ursachen von Vorfällen ergab, dass Infrastrukturprobleme die häufigste Problemquelle darstellen und 27,2% aller Fälle ausmachen. GenAI-Cloud-Dienste basieren auf einer komplexen hierarchischen Infrastruktur aus virtuellen Maschinen, Knoten, Clustern und Rechenzentren, die eng miteinander verbundene Ressourcen wie CPU, Arbeitsspeicher, Speicher und Netzwerke beherbergen. Probleme bei der Infrastrukturwartung (17,8%) umfassen insbesondere den Ausfall von Hardwarekomponenten wie verschlissenen GPUs, die die Feinabstimmung und Inferenz von GenAI-Diensten beeinträchtigen können. Fehlerhafte GPUs können beispielsweise Anfragen falsch verarbeiten, was zu Fehlern wie der Erzeugung unsinniger Ausgaben führt. Netzwerkprobleme (4,7%) umfassen nicht nur die Netzwerkbandbreite, sondern auch die Kommunikation zwischen VMs und Knoten innerhalb von Clustern, einschließlich Verbindungsproblemen und Fehlern bei der DNS-Auflösung. Speicherprobleme (4,7%) stehen im Zusammenhang mit der Verwaltung enormer Datenmengen, die robuste Speicherlösungen erfordert. Ausfälle des Datenspeichers oder von E/A-Vorgängen, etwa durch Datenbeschädigung oder Verzögerungen, können zu einer Beeinträchtigung des Dienstes führen. Konfigurationsprobleme machen 24,5% der Vorfälle aus und umfassen fehlerhafte Konfigurationen (13,1%), Konfigurationsaktualisierungen (6,4%) sowie fehlende Konfigurationen oder Konfigurationslücken (5,0%). Codierungsfehler machen 21,5% der Fälle aus und umfassen Fehler, die Datenbeschränkungen des Modells verletzen (6,7%), Fehler bei Inhaltsfiltern (2,2%), Fehler bei der Ausnahmebehandlung (6,3%) und systemübergreifende Fehler (6,3%). Externe Nutzungsprobleme (14,1%) und Betriebsfehler (12,7%) ergänzen das Spektrum der Ursachen.
Der menschliche Faktor dominiert bei der Erkennung von Vorfällen
Eine der überraschendsten Erkenntnisse der Studie ist der hohe Anteil der von Menschen statt von automatisierten Systemen gemeldeten Vorfälle. Während Menschen bei herkömmlichen Cloud-Diensten lediglich 13,7% der Vorfälle melden, sind es bei GenAI-Diensten bemerkenswerte 38,3%. Dieses Phänomen lässt sich dadurch erklären, dass sich 45,9% der GenAI-Cloud-Dienste noch in der Entwicklung oder in der Vorschauphase befinden, während lediglich 54,1% den Status der allgemeinen Verfügbarkeit erreicht haben. Die derzeitigen Überwachungssysteme für GenAI-Dienste basieren häufig auf Anpassungen bestehender Frameworks, die für andere Arten von Cloud-Diensten entwickelt wurden und möglicherweise noch nicht vollständig den spezifischen Anforderungen von GenAI-Szenarien entsprechen. Beispielsweise werden Vorfälle mit ungültiger Inferenz häufig von Nutzern identifiziert und gemeldet, was die Zusammenarbeit bei der weiteren Verbesserung dieser Systeme widerspiegelt. Die Studie ermittelte bei GenAI-Diensten etwa 25,9 einzigartige Monitore pro 100 von Monitoren gemeldeten Vorfällen, verglichen mit 74,4% bei anderen Cloud-Diensten. Die Rate der Fehlalarme bei von Monitoren erkannten Vorfällen in GenAI-Diensten ist mit 11,0% gegenüber 6,6% bei von Menschen erkannten Vorfällen deutlich höher. Diese höhere Rate falsch positiver Ergebnisse ist vor allem auf die Empfindlichkeit der Überwachungssysteme zurückzuführen. Diese Fehlalarme belasten Ingenieure mit unnötigen Untersuchungen und verlangsamen dadurch die Behebung tatsächlicher Vorfälle.
Deutlich längere Zeit zur Behebung von Vorfällen
GenAI-Vorfälle benötigen im Allgemeinen mehr Zeit zur Behebung als andere Arten von Vorfällen. Konkret dauert die Behebung von GenAI-Vorfällen durchschnittlich 1,12 Zeiteinheiten, verglichen mit 0,65 Zeiteinheiten bei Nicht-GenAI-Vorfällen. Diese längere Behebungsdauer gilt für alle Kategorien von Behebungsmaßnahmen und spiegelt die Komplexität der Lösung verschiedener GenAI-Vorfälle wider. Die Verteilung der Ansätze zur Behebung unterscheidet sich deutlich zwischen GenAI- und herkömmlichen Diensten. Während Ad-hoc-Korrekturen bei anderen Cloud-Diensten 54,7% aller Lösungen ausmachen, sind es bei GenAI-Diensten lediglich 22,4%. Die Verteilung der Behebungsansätze bei GenAI-Vorfällen ist ausgewogener und erfordert im Vergleich zu einfachen Ad-hoc-Korrekturen vielfältigere, anspruchsvollere und zeitaufwendigere Methoden. Die Studie identifizierte acht Hauptkategorien von Behebungsstrategien. Selbstheilung (19,7%) bezeichnet Situationen, in denen sich vorübergehende Vorfälle automatisch abschwächen, weil sich der Dienst dank seiner Resilienzmechanismen selbst wiederherstellt. Ad-hoc-Korrekturen (22,4%) umfassen improvisierte, situationsspezifische Maßnahmen, die zur schnellen Abschwächung von Symptomen angewendet werden. Ein Rollback (15,2%) ist eine häufig eingesetzte Strategie bei Vorfällen, die durch Änderungen verursacht wurden, wobei Ingenieure diese Änderungen auf eine frühere, stabile Version zurücksetzen.
Einzigartige Herausforderungen von GenAI-Cloud-Diensten
GenAI-Cloud-Dienste bringen im Vergleich zu herkömmlichen Cloud-Diensten grundlegend andere Herausforderungen mit sich. Während traditionelle ML-Plattformen wie AzureML, AWS SageMaker und Google Cloud ML hauptsächlich für Aufgaben wie das Training, die Inferenz und die Feinabstimmung von Modellen eingesetzt wurden, stützen sich GenAI-Dienste wie große Sprachmodelle auf massive Parameterskalen und hohe Hardwareanforderungen und bieten natürlichsprachlich gesteuerte Anwendungen wie Texterstellung, Zusammenfassung und Übersetzung. Diese Dienste ermöglichen es Nutzern außerdem, Modelle mithilfe von vom Nutzer hochgeladenen Datensätzen feinabzustimmen, wodurch Risiken durch Verhaltensänderungen auf Modellebene entstehen. Darüber hinaus bieten sie intuitive dialogorientierte Benutzeroberflächen, wodurch sie einem breiteren Publikum zugänglich sind, zugleich aber die Verwaltung von Nutzerinteraktionen komplexer und risikoreicher wird. Diese Eigenschaften schaffen neue Zuverlässigkeitsprobleme in Bezug auf Modellqualität, Datenschutz und Leistung, die sich zu den herkömmlichen Zuverlässigkeitsproblemen hinzugesellen.
Implikationen für die Zukunft
Die Ergebnisse der Studie bieten praktische Erkenntnisse für ein breites Spektrum von Interessengruppen. Für Forscher betont die Studie mehrere Bereiche der zukünftigen Forschung, insbesondere bei automatisierten Methoden zur Erkennung ungültiger Inferenzergebnisse. Gegenwärtig sind ungültige Ausgaben wie Halluzinationen oder irrelevante Antworten schwer zu erkennen. Für Modellanbieter ist neben dem hohen Anteil ungültiger Inferenzergebnisse und den Herausforderungen bei der Erkennung von Halluzinationen die Erkenntnis von besonderer Bedeutung, dass 38% der GenAI-Vorfälle von Menschen gemeldet werden, was auf eine unzureichende Entwicklung von Überwachungswerkzeugen hindeutet. Anbieter sollten die Beobachtbarkeit der Dienste verbessern, um Probleme effizienter erkennen und diagnostizieren zu können. Für Dienstbetreiber zeigt die Studie, dass die Behebungszeit von GenAI-Vorfällen 1,83-mal länger ist als bei Nicht-GenAI-Vorfällen, was den Bedarf an Automatisierung bei der Behebung von Vorfällen unterstreicht. Die Komplexität von GenAI-Systemen, die umfangreiche und miteinander verbundene Infrastruktur-, Abhängigkeits- und Konfigurationsebenen umfassen, ist dabei ein wesentlicher Faktor. Diese umfassende Studie bietet den ersten tiefgehenden Einblick in die Merkmale von Vorfällen in GenAI-Cloud-Diensten und enthüllt die einzigartigen Herausforderungen, mit denen dieser schnell wachsende Bereich konfrontiert ist. Da GenAI-Dienste für Unternehmen und Nutzer weltweit immer wichtiger werden, wird das Verständnis und die Bewältigung dieser spezifischen Probleme entscheidend sein, um ihre Zuverlässigkeit und Stabilität in Zukunft zu gewährleisten.
