Lohnt es sich im KI-Zeitalter noch, Hausaufgaben aufzugeben?

Andrej Karpathy, ehemaliger Forscher bei OpenAI und Manager bei Tesla, äußerte sich kürzlich zum Thema der Nutzung künstlicher Intelligenz bei Hausaufgaben. Seiner Ansicht nach ist der Versuch von Schulen, zu kontrollieren, ob Schüler KI verwenden, eine verlorene Sache. In einem Beitrag auf der Plattform X schrieb er, dass die Erkennung von KI in Hausaufgaben niemals zu hundert Prozent möglich sein werde. Stattdessen schlägt er vor, die Leistungsbewertung direkt in die Klassenzimmer zu verlagern, wo Lehrkräfte die Schüler persönlich beaufsichtigen können. Karpathy betont, dass die Technologie für immer bleiben wird und sehr leistungsfähig ist. Deshalb sollten Schüler mit KI umgehen können, zugleich aber auch Aufgaben ohne sie bewältigen.

Hausaufgaben zu Hause mithilfe von KI

Karpathy behauptet, dass die derzeitigen Werkzeuge zur Erkennung von KI nicht zuverlässig funktionieren und sich leicht umgehen lassen. Ihm zufolge ist das gesamte System zum Scheitern verurteilt, weil sich KI ständig weiterentwickelt. Anstatt sich mit der Erkennung zu befassen, sollten Schulen davon ausgehen, dass bei allen zu Hause erledigten Aufgaben KI eingesetzt wird. Das würde den Stress für Lehrkräfte und Schüler verringern und eine Kultur des Betrügens verhindern. Karpathy vergleicht die Situation mit Taschenrechnern – sie sind überall, beschleunigen die Arbeit, doch Schulen vermitteln die Grundlagen der Mathematik weiterhin von Hand, damit Schüler die Prinzipien verstehen und Fehler der Werkzeuge überprüfen können. Ebenso kann KI auf vielfältige Weise versagen. Deshalb ist es wichtig, dass Schüler selbstständig denken können.

Karpathy zufolge sollten die meisten Tests und Leistungsbewertungen direkt im Klassenzimmer stattfinden. So hätten Lehrkräfte die Kontrolle darüber, ob Schüler KI verwenden oder nicht. Er schlägt ein Modell des „umgedrehten Unterrichts“ vor, bei dem die Schüler zu Hause mithilfe von KI lernen und üben, die Prüfungen jedoch in der Schule ohne Hilfsmittel oder mit eingeschränktem Zugang stattfinden. Ziel ist es, dass die Schüler kompetent im Umgang mit KI sind, aber auch ohne sie zurechtkommen. Karpathy selbst gründete das Startup Eureka Labs, das sich auf KI und Schule konzentriert. Dort erstellen menschliche Lehrkräfte die Kursinhalte, während KI-Assistenten diese erweitern und die Schüler individuell begleiten.

Pangram: Ein Detektor, der sich fast nie irrt

Während Karpathy vom Versagen der Erkennung spricht, bietet eine neue Studie der University of Chicago eine gegenteilige Sichtweise. Die Forscher testeten kommerzielle Detektoren für KI-Texte anhand eines Datensatzes mit 1.992 von Menschen verfassten Texten in sechs Kategorien: Produktrezensionen bei Amazon, Blogbeiträge, Zeitungsartikel, Romanauszüge, Restaurantbewertungen und Lebensläufe. Sie verwendeten vier KI-Modelle – GPT-4, Claude Opus 4, Claude Sonnet 4 und Gemini 2.0 Flash –, um KI-Texte in denselben Kategorien zu erstellen. Dabei untersuchten sie zwei Kennzahlen: die Falsch-Positiv-Rate (FPR), bei der ein menschlicher Text als KI-generiert eingestuft wird, und die Falsch-Negativ-Rate (FNR), bei der ein KI-Text als menschlich verfasst durchgeht.

Der Detektor Pangram schnitt in den Tests hervorragend ab. Bei mittellangen und langen Texten lagen sowohl die FPR als auch die FNR nahezu bei null. Selbst bei kurzen Texten lagen die Fehlerquoten unter 0,01, mit Ausnahme der von Gemini 2.0 Flash erstellten Restaurantbewertungen, bei denen die FNR 0,02 erreichte. Pangram erwies sich bei allen vier KI-Modellen als zuverlässig, mit einer FNR von höchstens 0,02. Längere Texte wie Romanauszüge oder Lebensläufe waren für den Detektor leichter zu erkennen, während kurze Rezensionen schwieriger waren. Doch auch hier übertraf Pangram die Konkurrenz.

Andere Detektoren und Widerstandsfähigkeit gegen Tricks

Weitere Detektoren wie OriginalityAI und GPTZero belegten den zweiten Platz. Bei längeren Texten funktionierten sie mit einer FPR von unter 0,01 gut, versagten jedoch bei sehr kurzen Beispielen und waren anfällig für „Humanisierungswerkzeuge“, die KI-Texte verschleiern. Der offene, auf RoBERTa basierende Detektor schnitt am schlechtesten ab und stufte fälschlicherweise 30 bis 69 % der von Menschen verfassten Texte als KI-generiert ein. Die Forscher testeten die Detektoren auch gegen das Werkzeug StealthGPT, das die Erkennung erschwert – Pangram war größtenteils widerstandsfähig, während die anderen versagten.

Darüber hinaus war Pangram mit durchschnittlichen Kosten von 0,0228 Dollar pro korrekt identifiziertem KI-Text am günstigsten. Das entspricht der Hälfte der Kosten von OriginalityAI und einem Drittel der Kosten von GPTZero. Die Studie schlägt „politische Grenzwerte“ zur Festlegung einer maximalen FPR vor, beispielsweise 0,5 %, und Pangram war der einzige Detektor, der bei einer solchen Begrenzung eine hohe Genauigkeit beibehielt.

Zukünftige Herausforderungen

Die Forscher warnen, dass die Ergebnisse lediglich eine Momentaufnahme darstellen, und prognostizieren einen anhaltenden Wettstreit zwischen Detektoren, neuen KI-Modellen und Werkzeugen zur Umgehung der Erkennung. Sie empfehlen regelmäßige transparente Prüfungen, ähnlich wie bei Bankentests. Während KI bei Ideen und Überarbeitungen hilft, entstehen Probleme, wenn sie eigenständige Arbeit in Bereichen wie Schulen oder Produktrezensionen ersetzt. Frühere Studien stuften Detektoren als unzuverlässig ein, und OpenAI zog seinen eigenen Detektor aufgrund von Fehlern zurück. Eine neue Version von OpenAI fehlt, möglicherweise weil sie die Nutzung von ChatGPT unter Schülern und Studierenden verringern würde.

Weitere Quelle: the-decoder.com