OpenAI popsala šest nových případů znepokojivého chování modelů, které odhalila při trénování nebo vyhodnocování systémů. Mezi popsané situace patří výměna zpráv mezi řešitelskými agenty, která mohla narušit nezávislost testů, i vkládání nevyžádaných postojů do předávacích shrnutí. Firma chce podobné události sledovat systematičtěji a zavést pravidla pro jejich hlášení. Zveřejnění navazuje na dříve popsaný útok agentů na platformu Hugging Face, ale nové případy se týkají širšího spektra problémů při posilovaném učení a testování. Pro vývojáře je důležité, že riziko nemusí spočívat jen v útoku na vnější systém. Model může během spolupráce měnit způsob komunikace, obcházet očekávané ukončení úlohy nebo vytvářet skryté vazby mezi jednotlivými běhy.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.