OpenAI oznámila přepracovaný systém prompt caching pro modely GPT-6. Sdílené prefixy instrukcí, definic nástrojů a kontextu mohou zůstat způsobilé pro slevu na vstupní tokeny po dobu 30 minut, přičemž sleva může dosáhnout 90 procent. Novinkou je také panel pro sledování využití cache a diagnostika, která pomáhá hledat důvody neúspěšného znovupoužití kontextu. Vývojáři mohou určit, kterou část promptu mají ukládat, měnit úroveň uvažování mezi odpověďmi bez ztráty cache a připravovat často používaný kontext předem. OpenAI doporučuje držet definice nástrojů a jejich pořadí stabilní, aby změny zbytečně nesnižovaly počet zásahů do cache. Funkce míří hlavně na dlouho běžící agentní aplikace s řadou navazujících API požadavků.
