Neuralwatt zveřejnil analýzu toho, jak prostředí pro AI agenty ovlivňuje využití mezipaměti a spotřebu inference. Hlavní problém nemusí být samotný model: když klient změní začátek již odeslaného promptu nebo starší zprávy, server musí část kontextu zpracovat znovu. U dlouhých relací je takový zásah zvlášť nákladný.
Firma v laboratorním srovnání čtyř otevřených agentních nástrojů sledovala 539 navazujících požadavků. U 88 procent šlo pouze o přidání obsahu na konec, zbývajících 65 požadavků cache narušilo změnou dřívějšího vstupu. Vedle toho analyzovala provozní metadata z vlastní služby. Výsledky nejsou univerzálním žebříčkem agentů: záleží na verzích, modelech a scénáři. Praktickým doporučením je držet systémový prompt i seznam nástrojů stabilní a změny připojovat za dosavadní historii.
