Nový projekt Rare Failure Eval zveřejnil reprodukovatelný experiment, který porovnává způsoby hodnocení AI agentů při vzácných selháních. Pracuje se syntetickými agenty a pevně stanoveným rozpočtem testování, nikoli s výsledky skutečných nasazených modelů. V jednom scénáři metoda rozdělující testy podle rozptylu častěji vybrala horšího agenta, přesto její rozhodnutí v průměru způsobovala menší ztrátu užitku. V jiném scénáři se zhoršila obě měřítka. Experiment proto doporučuje sledovat vedle četnosti chybných výběrů také jejich důsledky. Repozitář obsahuje Python kód, protokol, surová data a samostatný kontrolní skript. Běží na CPU bez modelového API. Autoři výslovně upozorňují, že výsledky nejsou důkazem bezpečnosti nasazení ani univerzální výhody adaptivního testování.
