Induction popsala problém při měření nákladů AI agentů: opakované testy téhož úkolu mohou nechtěně čerpat ze společné prompt cache. Pozdější pokus pak využije levnější již zpracovaný začátek kontextu a vyjde úsporněji, i když samotný agent nic nezlepšil. Stejné zkreslení se může projevit také u souběžně spuštěných běhů.

Firma jednotlivé pokusy odděluje přidáním pomocného nástroje s unikátním identifikátorem v názvu. Identifikátor zůstává stejný během jednoho testu, takže běžné využití cache uvnitř jeho konverzace pokračuje. Mění se až mezi testy. Pomocný nástroj musí mít neškodnou odpověď, protože ho model někdy zavolá navzdory instrukci, aby to nedělal. Postup má pomoci měřit vlastní náklady každého pokusu, ne výhodu zděděnou po předchozích testech.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.