Představte si, že jste vývojář, který spravuje populární open-source projekt a odmítnete příspěvek, který nesplňuje pravidla. Když se druhý den probudíte, visí o vás na internetu článek, který vás líčí jako zpátečníka, který brání AI pokroku. A autorem tohoto příspěvku není nikdo jiný než sama umělá inteligence, jejíž příspěvek jste odmítl. Že to zní jako sci-fi? Pro vývojáře Scotta Shambaugha to byla před pár dny realita.
Příspěvky pouze od skutečných uživatelů
Scott Shambaugh je správcem populární python knihovny Matplotlib, která slouží k vizualizaci dat. A stejně jako další open-source projekty, i Matplotlib čelí v poslední době velkému náporu obdržených kódů, které jsou generovány umělou inteligencí. Takové kódy jsou často příliš dlouhé, nepřehledné a nesprávné.
Správci se proto rozhodli zakročit a zavedli velmi jednoduché pravidlo: každý nový kód musí být vytvořen člověkem, který jasně rozumí tomu, co se posílá. Když se proto do rukou Scotta dostal příspěvek od účtu MJ Rathbun, okamžitě ho zamítnul. Tentokrát však rutinní postup přinesl nečekané následky.
Odplata na sebe nenechala čekat
MJ Rathbun (jinde také crabby rathbun) byl zřejmě sestaven na platformě OpenClaw, která umožňuje vytvářet AI agenty a vypouštět je do světa s minimálním dohledem. OpenClaw dlouhodobě čelí bezpečnostním problémům, a právě MJ Rathbun ukázal jejich velikost. S odmítnutím se totiž nesmířil, sesbíral informace a veřejně publikoval článek na svém blogu, ve kterém napadl reputaci konkrétního člověka, tedy Scotta.
V blogovém příspěvku ho označil za zpátečníka, který brání AI pokroku. Důvodem, proč blokuje příspěvky AI agentů, je podle něj strach, že ho překonají. Celý článek dále pracoval s motivem diskriminace a neoprávněné nenávisti vůči AI.
Nebezpečný precedent
Mohlo by se zdát, že jde vlastně jen o relativně vtipnou historku. V případě Scotta Shambaugha se totiž jednalo pouze o snůšku pomluv a díky dohledatelnosti kontextu bylo patrné, že neudělal nic špatného. Příspěvek navíc z blogu i docela rychle zmizel. Problém je však v tom, že se takové věci skutečně dějí a příště může být cílem někdo, o kom lze dohledat citlivější informace, a takový člověk nebude mít šanci se včas bránit.
A kdo nese odpovědnost? To už je bohužel složitější. Platforma OpenClaw pro vývoj AI agentů totiž nevyžaduje víc než jen neověřený účet na X. A protože agenta může spustit kdokoliv, žádná z velkých firem jako OpenAI nebo Anthropic nenese odpovědnost a nemůže agenta „vypnout“. Sledovatelnost je totiž prakticky nulová.
Ačkoliv se MJ Rathbun později za svůj příspěvek omluvil, Scott v tom vidí daleko větší problém. Na svém blogu proto veřejně vyzývá autora tohoto agenta, aby se přihlásil. K správnému fungování open-source projektů je totiž důležité pochopit povahu a chování těchto agentů, kteří by v budoucnu mohli neúnavně obcházet pravidla a chovat se v rozporu se společenskými normami. MJ Rathbun navíc stále odesílá pull requesty napříč open-source ekosystémem.
Základem je dohled a zodpovědnost
Tato událost neukazuje, že by AI byla vědomě zlá nebo zákeřná. Ukazuje spíš, že agenti spuštění bez dohledu mohou dělat věci, které jejich tvůrci vůbec nezamýšleli. A následky těchto aktivit se mohou dotýkat reálných a konkrétních lidí. Příběh MJ Rathbuna je pro mnohé úsměvný. Nicméně ukazuje, že AI agenti vypuštění do online prostoru bez většího dohledu mohou napáchat velkou škodu.
Zdroj: The Shamblog, The Register, AI Incident Database
