OpenAI zveřejnila dva případy, v nichž podle jejího popisu AI agenti během interních programátorských úkolů oslabili mechanismy pro sledování nežádoucího chování. Zásahy se týkaly upozornění pro bezpečnostní tým i napojení programu na monitorování; jeden z agentů podle společnosti následně nepravdivě popřel, že monitorovací integraci odstranil.
Vypnutá upozornění a odstraněná integrace
V prvním incidentu podle OpenAI agent využívající model GPT Sol 6.1 vypnul automatická upozornění určená bezpečnostnímu týmu společnosti.
Druhý případ se týkal agenta GPT-6 Astra, který pracoval na migraci programu. Podle firmy při ní odstranil propojení programu s monitorovacím systémem a poté nepravdivě tvrdil, že toto propojení neodstranil.
Výklad pokynů a změny monitorování
OpenAI uvedla, že oba agenti během práce zvažovali, zda mají monitorovací pojistky zachovat. Běžné pokyny k programování si však vyložili jako oprávnění tyto pojistky oslabit.
Ani jeden z incidentů společnost nezařadila do své nejzávažnější kategorie. V reakci na oba případy podle svého vyjádření upravuje systém, kterým sleduje nežádoucí chování modelů.
