Tři lidé z bezpečnostní firmy Hacktron AI se koncem července dostali do vnitřních systémů OpenAI. Začali u obyčejné fotky nahrané na diskusní fórum a skončili u firemního úložiště programového kódu, do kterého mohli zapisovat. Pomohl jim k tomu Claude, tedy nástroj od Anthropicu, což je přímá konkurence OpenAI. Celý postup zveřejnili minulý čtvrtek, OpenAI jim za nález zaplatila 6 500 dolarů a díry mezitím zalátala.
Od fotky na fóru až k firemnímu kódu
Díra dovnitř vedla přes veřejné diskusní fórum OpenAI. Tam může kdokoli nahrát obrázek a fórum si ho automaticky převede do běžného formátu, aby se dobře zobrazoval. Právě v tomto převodu se skrývala chyba. Když výzkumníci nahráli speciálně upravenou fotku ve formátu, jaký standardně ukládají iPhony, program zpracovávající obrázek se zmátl a oni získali kontrolu nad serverem, kde fórum běželo. Nepříjemné na tom je, že tvůrci zmíněného programu chybu opravili už několik měsíců předtím. Nikdo ji ale oficiálně nezapsal do veřejné evidence bezpečnostních slabin, kterou celý obor sleduje. Fórum tak nejspíš proto dál běželo na staré, děravé verzi.
Uvnitř narazil tým na druhý problém. Přihlášení do fóra totiž zároveň platilo i pro ChatGPT a vývojářský nástroj Codex, takže bylo možné převzít cizí účty včetně zaměstnaneckých. Tímto způsobem se dostali k účtu jednoho člověka z OpenAI, který měl Codex propojený s firemním úložištěm kódu na GitHubu. Tam našli část zvanou Monorepo. Podle zdrojů Wall Street Journalu jde o součást, díky které modely OpenAI běží rychleji. Výzkumníci nic nestahovali, pouze do úložiště poslali neškodný návrh na úpravu kódu, aby doložili, kam až se dostali. Sami k tomu řekli, že rozsah toho, co by teoreticky měli na dosah, byl obrovský. Od prvního průlomu k prokázanému přístupu podle nich uběhlo méně než 72 hodin.
Pak zavolali OpenAI i provozovateli fóra. Oprava byla venku 27. července. Mluvčí OpenAI Drew Pusateri uvedl, že firma výzkumníkům děkuje za to, že se ozvali a podělili se o svá zjištění, a že je problém vyřešený. OpenAI zároveň zneplatnila dotčená přihlášení a omezila jejich oprávnění.
Slabší model selhal, novější to zvládl
Výzkumníci pracovali se zvláštní verzí modelu Claude Opus 4.8, kterou Anthropic pouští jen prověřeným bezpečnostním odborníkům. Model ale opakovaně selhával. Popsali, že se při opakovaných pokusech marně snažil vyrobit funkční kód, kterým by se chyba dala zneužít. Zlom přišel ze dne na den, když Anthropic vydal Opus 5. Tým mu zadal úplně stejný úkol a během pár hodin měl hotovo. Poznamenali k tomu, že každý nový model je čím dál tím schopnější.
Samotný průnik do OpenAI zabral podle jejich zprávy pár dní práce počítačového pomocníka a jen pár hodin lidského času. Nešlo přitom o útok, ale o součást programu, ve kterém OpenAI platí za nahlášené chyby. Zapadal do výzkumu, který si Hacktron nazval HEIF Heist a ve kterém zkoumal, jak různé služby zacházejí s obrázkovými soubory. Stejným způsobem našel slabiny i u Slacku, Zoomu, Mety a dalších firem. Práce zabrala dva měsíce, dělali na ní tři lidé a za používání modelů utratili dohromady méně než tři tisíce dolarů.
Proč z toho média udělala velké téma
Přitažlivost příběhu stojí hlavně na poměru sil. Trojice lidí s běžným předplatným se dostala do firmy, která umělou inteligenci sama vytváří a peníze na bezpečnost rozhodně má.
Matt Fredrikson, šéf bezpečnostní firmy Gray Swan, to shrnul tak, že za dvě stě dolarů měsíčně může tyto nástroje použít kdokoli a proniknout do firmy jako OpenAI. Dodal, že pokud se to může stát jim, a on si nemyslí, že by v poslední době na bezpečnost kašlali, může se to stát komukoli. Na sítích se pak objevila otázka, která se sama nabízí. Když toto dokáže tříčlenný tým, co zvládne stát nebo velká organizace.
Zakladatel Hacktronu Mohan Pedhapati napsal na X, že umělá inteligence snižuje množství vzácné odbornosti potřebné k tomu, aby někdo chybu dokázal zneužít, a že práce, která dřív zabrala měsíce, teď zabere dny. V závěru zprávy tým popsal, že software dlouho chránila jeho vlastní složitost a že tuto ochranu teď umělá inteligence odbourává, protože odbornost nahrazuje výpočetním výkonem.
Případ dopadl i na debatu o tom, co se má a nemá pouštět mezi lidi. Opus 5, který chybu nakonec zlomil, žádná vývozní omezení nepotkala. U novějšího sourozence Mythos 5 to však bylo jinak, na čas ho americké úřady zablokovaly právě kvůli obavám z toho, jak dobře si vede při hledání děr v cizích systémech. A netýká se to jen uzavřených modelů. Nezisková organizace SaferAI nedávno zjistila, že volně dostupný model GLM-5.2 od čínské firmy Z.ai zaostává za GPT-5.5 od OpenAI a Claude Opus 4.7 od Anthropicu jen o několik měsíců.
Zdroje: techcrunch.com, theguardian.com a forbes.com
