Výzkumný institut Ai2 představil StateBench, test sledující, jak jazykové modely pracují s informacemi, které se v dlouhém dokumentu postupně mění. Úlohy zahrnují čtyři úrovně obtížnosti: od nalezení neměnné hodnoty po sledování řetězce změn, v němž aktuální stav závisí na předchozích krocích. Ve zkoušce čtyř špičkových modelů přesnost na nejtěžších úlohách s rostoucí délkou klesala; u nejdelších zadání dosáhla nejvýše 13 procent. V samostatném experimentu výzkumníci trénovali menší modely přímo na těchto úlohách. Hybridní a rekurentní architektury v něm dokázaly lépe zobecňovat na dlouhé posloupnosti než testované transformery. Výsledky ale nelze automaticky přenést na všechny běžné úlohy: benchmark například předpokládá pevný počet proměnných. Ai2 zveřejnil také technickou zprávu, data a kód.
