Otevřený nástroj Pith optimalizuje náklady na výstupní tokeny jazykových modelů pomocí měření, nikoli pouhého zkracování odpovědí. Zaznamená vzorek provozu, zopakuje požadavky s levnějšími profily a nechá hodnoticí model porovnat odpovědi s původní variantou. Za základ bere také to, nakolik se původní model shoduje sám se sebou. Změnu použije jen při splnění kvalitativního i ekonomického prahu.
Zveřejněné pokusy autorů ukazují, že instrukce ke stručnosti často ubírá důležité informace, zejména u souhrnů a zákaznických odpovědí. V takových případech nástroj optimalizaci odmítá. Ani kvalitativně přijatelná úspora nemusí projít, pokud nezaplatí náklady testování. Pith podporuje samostatnou proxy i integrace do dalších bran; výsledky nejsou univerzální zárukou úspor.
