Projekt Vramkit zveřejnil dva postupy pro zmenšení dat při inferenci jazykových modelů: bezeztrátový kodek kvantizovaných vah a kvantizaci KV cache. Autor u vybraného tenzoru modelu Qwen2.5-0.5B uvádí přibližně třetinové zmenšení proti surovým čtyřbitovým vahám. Jde o výsledek jeho vlastního měření, nikoli o obecně ověřenou úsporu pro všechny modely.
U KV cache projekt rozlišuje kvantizaci klíčů po kanálech a hodnot po tokenech. V testu malého modelu uvádí dvojnásobné zmenšení při přibližně 0,1procentním zhoršení perplexity. Měření vznikla na MacBooku s výpočty na CPU. Důležité omezení: specializované jádro pro používání komprimovaných dat přímo během výpočtu pozornosti i ověření na větších modelech teprve čekají na dokončení. Zveřejněný kód proto není důkazem stejného zrychlení či úspory paměti v produkčním provozu.
