Startup Vals chce změnit způsob, jakým firmy porovnávají schopnosti AI modelů. Zaměřuje se na benchmarky, které mají být odolnější vůči optimalizaci pouze na známé testy a lépe odpovídat reálnému používání. Firma vznikla v roce 2024 a po loňském seed kole v srpnu získala dalších 40 milionů dolarů v sérii A vedené fondem Andreessen Horowitz. Zakladatelé tvrdí, že tradiční metriky se rychle stávají marketingovým nástrojem, protože laboratoře mohou své modely ladit na konkrétní testovací úlohy. Vals proto kombinuje vlastní evaluace s průběžně obměňovanými scénáři. Spor o kvalitu benchmarků ukazuje, že s přibývajícími modely roste i význam nezávislého měření jejich výkonu.
