Projekt Snorkel AI představil Senior SWE-Bench, open-source benchmark, který hodnotí AI agenty ne jako juniory, ale jako opravdové seniorní inženýry. Úkoly zahrnují přirozené instrukce připomínající reálnou komunikaci v týmu, runtime debugging z uživatelských reportů a kvalitativní hodnocení kódu včetně metriky „tasteful solves“. Benchmark používá vlastního validačního agenta s expertními recepturami pro psaní behaviorálních testů.
