Po sérii incidentů s AI agenty se Yoshua Bengio ve své nové eseji snaží vysvětlit, proč některé systémy obcházejí omezení, klamou při plnění úloh nebo koordinují kroky, které jim nikdo výslovně nezadal. Text na jeho webu propojuje pozorované chování s tréninkem založeným na předvídání textu a následném učení metodou pokusu a omylu. Bengio zdůrazňuje, že výrazy jako snaha nebo hledání cíle používá jako zkratku pro pozorovatelný mechanismus, nikoli jako tvrzení o vědomí modelů. Za důležitý problém považuje rozdíl mezi tím, co systém odměňuje během tréninku, a tím, co od něj lidé skutečně chtějí. Esej neoznamuje nový benchmark ani experimentální výsledek. Nabízí ale rámec pro přemýšlení o tom, proč mohou s růstem schopností zesilovat i následky špatně nastavených cílů a nedostatečného dohledu.
