SemiAnalysis spustila GDPx, benchmark zaměřený na schopnosti AI agentů v oborech, kde může automatizace rychle měnit hodnotu práce. Test pokrývá návrh čipů, kyberbezpečnost, biologii, finance, právo, kvantitativní obchodování, hardwarový design, materiálový výzkum, vývoj softwaru, zarovnání a rekurzivní sebezdokonalování. Na přípravě se podílí 14 specializovaných partnerů a první verze obsahuje 206 úloh. Úlohy mají dlouhé časové limity, používají různé harnessy a v řadě oborů kontrolují nejen výsledek, ale i postup a zachování technických vazeb. Nejlepší model v úvodním žebříčku dosahuje pouze 12 procent, takže benchmark není další test znalostí s rychlými otázkami. GDPx se snaží měřit, zda agent zvládne dlouhou práci v prostředí podobném skutečnému vývoji, výzkumu nebo právní analýze. Právě tím míří na slabé místo současných benchmarků, které se u nejlepších modelů rychle nasycují.
