GitHub zveřejnil ReviewBench, otevřený offline benchmark pro agenty na code review. Blog popisuje korpus reprezentativních pull requestů modelovaný podle více než 100 milionů reálných PR na GitHubu, se záměrným důrazem na reviewovatelný střed a delší změny místo drobných jednosouborových úprav. Ground truth vzniká z lidských reviewerů, následných oprav autorů, deterministických nástrojů a několika frontier LLM, poté se semanticky deduplikuje a hodnotí jednotnou rubrikou. Metriky oddělují grounded a augmented precision, recall a F1. Oddělené ukazatele mají ukázat, zda reviewer nachází skutečné problémy, nebo spíše vytváří další práci zbytečnými připomínkami. Článek proto míří spíš na měření reálných trade-offů reviewerů než na jednoduchý žebříček modelů.
