Open-source projekt AgentRuleBench zkoumá, zda coding agenti při úpravách softwaru dodržují pravidla architektury odvozená z reálných repozitářů. Autoři připravili předregistrovaný benchmark, vlastní smyčku pro spouštění agentů a nezávislý TypeScriptový analyzátor, který kontroluje importní hranice. Výsledky pilotních a průzkumných běhů jsou uložené v repozitáři společně s úlohami, daty a návodem k reprodukci. Projekt zatím popisuje nulový výsledek, tedy že v daném nastavení nebyl prokázán rozdíl v porušování testovaného pravidla. Autoři zároveň upozorňují, že pravidlo bylo nejprve odvozené nástrojem Archprint a vyřazené případy nemusí pokrývat všechny typy architektonických chyb. AgentRuleBench proto není obecný žebříček modelů, ale veřejný pokus měřit, jak agenti zacházejí s omezeními vyčtenými z existujícího kódu.
AgentRuleBench testuje, zda coding agenti dodržují architekturu