Nový rozbor technologie Galahad od startupu Corbenic odděluje dva různé způsoby zrychlování odpovědí AI. První ukládá vypočtenou KV cache na lokální SSD, aby model nemusel stejný text zpracovávat po vyprázdnění paměti grafiky nebo restartu. Druhý vybírá jen část dokumentů potřebnou pro konkrétní otázku.
Právě čtení menšího množství textu má zásadní podíl na uváděném přibližně čtrnáctinásobném zrychlení. Samotné obnovení cache nebylo v uvedených testech rychlejší ve všech prostředích. Rozbor obsahuje vyjádření zakladatele i upozornění, že měření pocházejí od samotné firmy a podmínky porovnání nejsou rovnocenné. Galahad tak představuje konkrétní přístup k opakovanému využití výpočtů, nikoli nezávisle potvrzenou univerzální náhradu operační paměti nebo záruku stejného zrychlení každé AI aplikace.
