Nová optimalizace pro llama.cpp slibuje výrazně rychlejší prompt lookup decoding, tedy způsob spekulativního generování, který používá n-gramy jako jednoduchý návrhový model. Autor změnil práci se třemi interními cache a upravil datové struktury tak, aby se méně kopírovala data a lépe využívala paměť. V jeho měřeních bylo draftování tokenů až 41,6krát rychlejší, načítání statické cache až 23,5krát rychlejší a špičková paměť klesla až 2,65krát. Jde o optimalizaci samotného inference enginu, nikoli o nový jazykový model. Přínos proto závisí na typu vstupu, velikosti n-gramových cache a konkrétním hardwaru, na kterém llama.cpp běží.
