Stanford-Studie deckt alarmierendes Ausmaß an Halluzinationen in juristischen KI-Tools auf
Die neueste Studie des Stanford Institute for Human-Centered Artificial Intelligence (HAI) der Stanford University liefert beunruhigende Erkenntnisse über die Zuverlässigkeit spezialisierter KI-Tools für die juristische Recherche. Die Ergebnisse zeigen, dass selbst die fortschrittlichsten juristischen KI-Systeme bei einer von sechs Anfragen ungenaue oder unbelegte Informationen liefern, was ein erhebliches Risiko für die Rechtspraxis darstellt.
Ablauf der Studie
Die vom Stanford HAI und RegLab durchgeführte Studie konzentrierte sich auf die Bewertung führender KI-Tools für die juristische Recherche, wobei der Schwerpunkt auf ihrer Neigung zu „Halluzinationen“ lag – der Erzeugung falscher oder unbelegter rechtlicher Informationen. Die Forscher testeten zwei zentrale juristische KI-Tools: Lexis+ AI von LexisNexis und Westlaw AI-Assisted Research/Ask Practical Law AI von Thomson Reuters, wobei sie deren Ergebnisse mit allgemein ausgerichteten Modellen wie GPT-4 verglichen. Die Methodik der Studie wurde sorgfältig konzipiert, um ein breites Spektrum juristischer Anfragen abzudecken. Die Forscher stellten manuell einen Datensatz mit mehr als 200 offenen juristischen Anfragen zusammen, die darauf ausgelegt waren, verschiedene Arten von Fragen zu testen. Zu den getesteten Kategorien gehörten allgemeine Recherchefragen zur Rechtsdogmatik, zu Gerichtsentscheidungen und zu Fragen aus Anwaltsprüfungen. Darüber hinaus konzentrierte sich die Studie auf Fragen, die sich auf eine bestimmte Rechtsordnung oder einen bestimmten Zeitraum bezogen, darunter Unterschiede zwischen Gerichtsbezirken und jüngste Gesetzesänderungen. Getestet wurden außerdem Fragen mit falschen Prämissen, die ein Missverständnis seitens des Nutzers simulierten, sowie Anfragen zum Abruf objektiver rechtlicher Fakten.
Beunruhigende Ergebnisse der Studie
Die Ergebnisse der Studie waren äußerst beunruhigend, insbesondere angesichts der entscheidenden Bedeutung von Genauigkeit im Rechtsbereich. Lexis+ AI und Ask Practical Law AI erzeugten bei mehr als 17 Prozent der Testanfragen halluzinierte Informationen, was etwa einem falschen oder unbelegten Ergebnis bei jeweils sechs Anfragen entspricht. Noch schlechter schnitt Westlaw AI-Assisted Research ab, bei dem die Halluzinationsrate 34 Prozent überstieg. Obwohl diese Raten niedriger sind als bei allgemein ausgerichteten Modellen wie GPT-4, stellen sie in einem Bereich, in dem Genauigkeit von entscheidender Bedeutung ist, dennoch ein erhebliches Risiko dar. Die Studie definiert eine Halluzination entweder als unmittelbar falsche Information oder als falsche Behauptung, dass eine zitierte Quelle eine bestimmte Aussage stütze, obwohl dies in Wirklichkeit nicht der Fall ist. Diese Definition ist für das Verständnis der Tragweite des Problems von zentraler Bedeutung, da Halluzinationen unterschiedliche Formen annehmen können und allesamt ein potenzielles Risiko für juristische Entscheidungen darstellen.
Die Erkenntnisse werfen grundlegende Fragen zu den Behauptungen der Anbieter hinsichtlich der Zuverlässigkeit ihrer Tools auf. Wie die Forscher feststellten, bleiben Halluzinationen in juristischen KI-Tools „erheblich, weitverbreitet und potenziell tückisch“. Obwohl die Tools im Vergleich zu allgemein ausgerichteten KI-Modellen wie GPT-4 tatsächlich weniger Fehler produzieren, was eine Verbesserung darstellt, halluzinieren selbst diese spezialisierten juristischen KI-Tools noch alarmierend häufig. Die Ergebnisse der Studie haben weitreichende Folgen für den juristischen Berufsstand. Da fast drei Viertel der Juristen planen, generative KI bei ihrer Arbeit einzusetzen, ist es von entscheidender Bedeutung, dass sich die juristische Fachwelt der Grenzen dieser Tools bewusst ist. Die Studie weist auf die Notwendigkeit kontinuierlicher Benchmark-Tests, größerer Transparenz und besonderer Vorsicht beim Einsatz von KI für risikoreiche juristische Recherchen hin.
Erweiterung der Studie
Die Stanford-Forscher erwägen eine Erweiterung der Studie als Reaktion auf Fragen, die hinsichtlich der Methodik und Fairness der Tests aufgeworfen wurden. Die zentrale Erkenntnis bleibt jedoch unverändert: Auch spezialisierte juristische KI-Tools sind nicht frei von Halluzinationen. Diese Erkenntnis ist für die Rechtspraxis von grundlegender Bedeutung, da dort ein einziger Fehler schwerwiegende Folgen sowohl für Mandanten als auch für die Juristen selbst haben kann. Die Studie zeigt außerdem, dass Juristen besser über die Grenzen der KI-Technologie aufgeklärt werden müssen. Viele Juristen verstehen möglicherweise nicht, wie häufig diese Tools falsche Informationen erzeugen, was dazu führen kann, dass sie sich ohne angemessene Überprüfung übermäßig auf KI-Ausgaben verlassen. Die juristische Ausbildung und die kontinuierliche berufliche Weiterbildung sollten Themen zum verantwortungsvollen Einsatz von KI und zur Bedeutung der Überprüfung KI-generierter Informationen umfassen.
Die Zukunft der KI im Rechtssektor
Die Zukunft juristischer KI wird wahrscheinlich von der Entwicklung zuverlässigerer Systeme und besserer Verfahren für deren Nutzung abhängen. Technologieanbieter werden die Grenzen ihrer Produkte transparenter kommunizieren und in Forschung und Entwicklung zur Senkung der Halluzinationsrate investieren müssen. Gleichzeitig wird die juristische Fachwelt Standards und bewährte Verfahren für die Integration von KI in die Rechtspraxis entwickeln müssen, um Risiken zu minimieren und den Nutzen zu maximieren.
Einer der bekanntesten Fälle des unsachgemäßen Einsatzes von KI in der Rechtspraxis ist der Fall des New Yorker Rechtsanwalts Steven A. Schwartz aus dem Jahr 2023. Schwartz von der Anwaltskanzlei Levidow, Levidow & Oberman nutzte ChatGPT für die juristische Recherche in einem Personenschadensfall, der vor einem Bundesgericht verhandelt wurde. Die KI generierte sechs vollständig fiktive Gerichtsentscheidungen mit falschen Zitaten und Anmerkungen, die Schwartz ungeprüft in seinen Schriftsatz aufnahm. Als Richter P. Kevin Castel diese erfundenen Fälle bemerkte und Schwartz damit konfrontierte, räumte der Anwalt die Nutzung von ChatGPT ein, verteidigte sein Vorgehen jedoch zunächst mit der Begründung, er habe nicht gewusst, dass die Inhalte falsch sein könnten. Schwartz legte sogar Protokolle seiner Gespräche mit ChatGPT vor, in denen er die KI gefragt hatte, ob die Fälle echt seien, woraufhin die KI fälschlicherweise bestätigte, dass sie legitim seien und „in renommierten juristischen Datenbanken wie LexisNexis und Westlaw gefunden werden können“. Schwartz und sein Kollege Peter LoDuca wurden schließlich wegen Irreführung des Gerichts zu einer Geldstrafe von 5.000 Dollar verurteilt und mussten allen in den falschen Zitaten genannten Richtern Entschuldigungsschreiben schicken.
