Bezpečnostní firma Trail of Bits zpochybnila interpretaci benchmarku 1Password, podle něhož modely vytvořily čistou opravu zranitelnosti jen ve 26 procentech případů. Kritici upozorňují, že část testů agentům výslovně zadávala nesprávnou opravu a další část jim zakazovala kód sestavit nebo spustit. Trail of Bits po vyřazení těchto podmínek uvádí, že 2 634 z 3 067 patchů zablokovalo dodaný exploit, tedy 86 procent. Zároveň zdůrazňuje, že zablokování konkrétního útoku ještě samo o sobě nedokazuje úplnou opravu. Spor tak není jen o jedno číslo, ale o to, zda benchmark odpovídá běžné práci obránců, kteří mohou změny testovat a kontrolovat.
