In der heutigen Zeit, in der künstliche Intelligenz in der Medizin und Landwirtschaft hilft, treten auch Schattenseiten zutage. Forscher von Microsoft, darunter der Bioingenieur Bruce Wittmann, führten ein Experiment durch, das Schwachstellen in Systemen aufdeckte, die die Herstellung gefährlicher Proteine verhindern sollen. Mithilfe von KI-Werkzeugen entwarfen sie Tausende Varianten von Toxinen wie Ricin oder Botulinum-Neurotoxin und stellten fest, dass viele von ihnen den üblichen Kontrollen entgehen. Diese Entdeckung führte zu schnellen Korrekturen, zeigt aber auch, wie rasch sich die Technologie weiterentwickelt.
Ein Experiment, das Schwachstellen aufdeckte
Bruce Wittmann, Bioingenieur bei Microsoft, beschloss zu testen, was geschehen würde, wenn jemand KI zur Herstellung gefährlicher Proteine einsetzen würde. Er wählte 72 Proteine aus, die strengen Kontrollen unterliegen, darunter Ricin, das 2013 und 2018 bei Terroranschlägen eingesetzt wurde, sowie Botulinum-Neurotoxin, das für seine extreme Giftigkeit bekannt ist. Mithilfe spezialisierter KI-Werkzeuge erstellte er mehr als 70 000 DNA-Sequenzen, die Varianten dieser Toxine produzieren könnten. Computermodelle deuteten darauf hin, dass einige von ihnen weiterhin toxisch sein könnten.
Dieser Test fand ausschließlich als Simulation statt, ohne dass tatsächlich Proteine hergestellt wurden, da dies gegen internationale Abkommen wie die Biowaffenkonvention verstoßen könnte. Stattdessen schickte Wittmann die Sequenzen an vier Anbieter von Sicherheitssoftware, die von Unternehmen zur DNA-Synthese eingesetzt wird. Die Ergebnisse waren alarmierend: Die Software versagte häufig. Ein Werkzeug erkannte lediglich 23 % der Sequenzen, ein anderes hingegen bis zu 70 %. Viele KI-Varianten schlüpften durch die Kontrollen, weil sie sich von bekannten Sequenzen unterschieden, aber eine potenziell gefährliche Struktur beibehielten.
Zusammenarbeit bei den Korrekturen
Diese Entdeckung führte zu einer diskreten Zusammenarbeit mit Experten für Biosicherheit, darunter Jaime Yassif von der Nuclear Threat Initiative. Innerhalb weniger Monate entwickelten sie Aktualisierungen für die Screening-Software. Nach diesen Änderungen erkannten die Systeme im Durchschnitt 72 % von Wittmanns Sequenzen, darunter 97 % derjenigen, die von den Modellen als besonders riskant eingestuft worden waren. Ein Anbieter entschied sich dagegen, seine Software anzupassen, um Fehlalarme zu vermeiden, die die Kosten erhöhen würden.
Die Autoren der in der Zeitschrift Science veröffentlichten Studie hielten mit Zustimmung der Redaktion einige Details zu den Sequenzen und Korrekturen zurück. Diese Informationen sind nur nach Genehmigung durch Experten der International Biosecurity and Biosafety Initiative for Science verfügbar, die von Tessa Alexanian geleitet wird. Dieses Vorgehen stellt sicher, dass sensible Daten nicht in die falschen Hände geraten.
Weitere Risiken und notwendige Änderungen
Laut Eric Horvitz, dem wissenschaftlichen Leiter von Microsoft, beschleunigt KI das Design von Proteinen, was Vorteile wie neue Medikamente, aber auch Risiken mit sich bringt. Screening-Software reicht nicht aus, da sie sich auf die Ähnlichkeit von Sequenzen konzentriert, während KI neue Varianten mit ähnlicher Funktion erzeugt. Jaime Yassif weist darauf hin, dass etwa 20 % des Marktes für DNA-Synthese Bestellungen überhaupt nicht kontrollieren, was eine erhebliche Lücke darstellt.
James Diggans vom DNA-Syntheseunternehmen Twist Bioscience sagt, dass Missbrauchsversuche äußerst selten seien – in zehn Jahren seiner Tätigkeit sei er ihnen weniger als fünfmal begegnet. Dennoch fordert er eine stärkere Absicherung direkt in den KI-Werkzeugen. Drew Endy von der Stanford University warnt, dass geheime staatliche Biowaffenprogramme, wie sie Russland oder Nordkorea vorgeworfen werden, eine größere Bedrohung als KI darstellten.
Aus weiteren Quellen geht hervor, dass KI Proteine erzeugen kann, die natürlichen Proteinen ähneln, aber unerwartete Eigenschaften besitzen. So betonen beispielsweise Studien in Nature die Notwendigkeit eines funktionellen Screenings, das das Verhalten von Proteinen und nicht nur ihre Sequenz vorhersagt. Eine weltweite Harmonisierung der Standards ist entscheidend, um Lücken zwischen den Vorschriften verschiedener Länder zu verhindern.
Die Zukunft der Biosicherheit
Diese Forschung zeigt, wie schnell sich die Biosicherheit anpassen muss. KI-Werkzeuge sind offen und zugänglich, was die Hürden für einen Missbrauch senkt, aber zugleich den medizinischen Fortschritt beschleunigt. Eric Horvitz betont, dass mit Macht auch Verantwortung einhergeht – Innovation muss mit Wachsamkeit verbunden werden. Die Arbeit in einem „Red Team“, das Angriffe simuliert, entwickelt sich zu einem Modell für die Zukunft, in der KI immer komplexere Systeme entwerfen wird.
Die Forscher fordern hybride Ansätze: eine Kombination aus traditionellem Screening und KI-basierten Funktionsvorhersagen. Damit könnten auch fragmentierte Sequenzen erkannt werden, die sich zu gefährlichen Einheiten zusammensetzen lassen. Obwohl die Risiken bestehen bleiben, gibt diese Studie Anlass zur Hoffnung, dass die Zusammenarbeit zwischen Wissenschaftlern, Unternehmen und Regulierungsbehörden mit der technologischen Entwicklung Schritt halten kann.
Quellen: science.org, ciencenews.org, microsoft.com
