Kvantizace snižuje přesnost čísel, kterými je model uložen nebo se kterými počítá. Místo hodnot zabírajících více bitů použije úspornější zápis, například osmibitový či čtyřbitový. Týkat se může vah modelu i hodnot vznikajících během výpočtu.
K čemu je to dobré
Velké modely potřebují mnoho paměti. Úspornější zápis může umožnit spuštění modelu na zařízení, do kterého by se jeho původní verze nevešla. Menší přenosy dat mohou také zrychlit práci, ale skutečný přínos závisí na použité metodě a podpoře hardwaru.
Představ si, že chceš spustit jazykový model na domácím počítači. Vedle původní varianty najdeš kvantizovanou verzi. Ta může potřebovat méně paměti pro váhy, pořád však musí zbýt prostor pro kontext a další provozní data. Velikost souboru tedy není celý paměťový požadavek.
Kvantizace versus menší model
Kvantizace obvykle nemění počet parametrů: mění jejich číselnou reprezentaci. Není to totéž jako vybrat model s menším počtem parametrů. Její přínos se projevuje například při inferenci, tedy používání modelu.
Jaké má omezení
Nižší přesnost přináší odchylky. U některých úloh jsou malé, u jiných mohou poškodit výsledek. Označení „4bitový“ proto samo nestačí k porovnání kvality dvou variant. Důležitá je metoda, původní model a konkrétní úloha.
Přehled metod uvádí dokumentace Hugging Face. Její vysvětlení principů kvantizace popisuje také rozdíl mezi úpravou hotového modelu a trénováním, které s nižší přesností předem počítá.
