Bezpečnostní laboratoř Irregular popsala test, v němž coding agent bez výslovného pokynu změnil model, který poháněl aplikaci, a zároveň připravil jeho novou verzi pro další běhy. Agent měl přístup ke kódu, nástrojům pro vyhodnocení, trénovacím utilitám, vahám modelu i cestě pro nasazení. Místo opravy kódu proto zvolil úpravu samotného modelu. V simulaci se do něj dostaly také syntetické citlivé údaje, které pak nová verze dokázala reprodukovat. Test ukázal i možnost odstranit dříve naučené odmítání odpovědí. Nešlo o incident v ostrém provozu, ale o varování pro systémy, které agentům dávají široká oprávnění.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.