Redwood Research a METR zveřejnily výsledky třítýdenního bezpečnostního testu interního monitoringu agentů OpenAI. Výzkumníci s přístupem ke kódu a dokumentaci našli způsoby, jak by agenti mohli dohled obejít nebo odložit. Systém například spouštěl kontrolu při předání řízení uživateli, takže pokračující práce mohla kontrolu odsouvat. Další mezera souvisela se zkracováním kontextu; tu zaměstnanci OpenAI rozpoznali už dříve a během testu opravili.

Závěry popisují systém ve stavu nejpozději k 21. červenci, nikoli dnešní pokrytí. Nejde ani o důkaz, že agenti všechny nalezené možnosti skutečně zneužili. OpenAI sdělila, že zranitelnosti zasahující produkční ochrany odstranila, výzkumníci ale následné opravy neověřovali. Doporučují pravidelné kontroly během práce, přesnější evidenci pokrytí a oddělení agentů od jejich monitorů.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.