Ředitelka pro veřejnou politiku Hugging Face Irene Solaiman upozorňuje, že přítomnost externího hodnotitele uvnitř AI firmy sama o sobě nezaručuje kvalitní dohled. V nově zveřejněném rozhovoru z konference Disrupt zdůraznila reprodukovatelnost testů, přístup k modelům a potřebu jasnějších kvalifikačních pravidel pro hodnotitele. Současné benchmarky podle ní rychle zastarávají a jejich výsledky nelze jednoduše vzájemně porovnávat.
Samostatný problém představují agenti, jejichž výkon neurčuje pouze jazykový model. Rozhodují také nástroje, řídicí software a celé pracovní prostředí. Slabší model s lepším zázemím proto může překonat silnějšího konkurenta. Hodnocení těchto celků je náročné a drahé. Solaiman tak popisuje otevřené metodické otázky, ne hotové řešení ani nový bezpečnostní standard.
