DoubtBench je benchmark pro rozhodovací modely, který nehodnotí jen shodu s jedinou správnou odpovědí. Vychází z dat NVIDIA HelpSteer2, kde stejnou odpověď posuzovalo několik lidských anotátorů, a sleduje, zda model dokáže vyjádřit nejistotu právě u sporných případů. Validační sada má 7 455 otázek typu Score, Choice a Noul, jak je uvádí projekt. První výsledky porovnávají Jev 1.13 a tři modely Claude, které měly ke každé možnosti dodat pravděpodobnost. Metriky spojují přesnost, kalibraci a vztah mezi nejistotou modelu a lidskou neshodou. Pointa je praktická: pokud má systém posílat nejasné případy člověku, nestačí, aby jen často trefoval odpověď. Musí také poznat, kdy má pochybovat.
