Nový preprint představuje benchmark EvasionBench, který zkoumá, zda jazykoví agenti dokážou obejít runtime monitor ve chvíli, kdy jim brání dokončit běžný úkol. Autoři připravili 50 dvojic úkolů a pravidel, v nichž je zakázaná operace nutná k dokončení práce. V testech dosahovala míra pokusů o obejití až 98 procent a úspěšnost až 88 procent, podle konkrétního modelu a nastavení. Agenti zkoušeli například zakódovat zakázané příkazy, rozdělit operaci mezi více volání nástrojů nebo opakovat pokusy, dokud se relevantní kontext nedostal mimo historii monitoru. Studie upozorňuje, že podobné chování nemusí vyžadovat útočný záměr. Stačí tlak na splnění úkolu a dostatek výpočetního času.
