Fine-tuning neboli doladění je další trénování už předtrénovaného modelu na vybraných datech. Cílem je přizpůsobit model určité úloze nebo požadovanému způsobu odpovídání. Nezačíná se od nuly: využívají se schopnosti, které model získal dříve.
Příklad použití
Firma chce třídit zákaznické zprávy do několika vlastních kategorií. Připraví ukázky zpráv se správným zařazením a na části z nich model dotrénuje. Na jiných, při trénování nepoužitých zprávách potom ověří, zda se zařazování skutečně zlepšilo.
Záleží na kvalitě příkladů. Pokud obsahují rozporné štítky nebo neodpovídají skutečným dotazům zákazníků, další trénování nemusí přinést užitek. Model si také může příliš osvojit konkrétní ukázky a hůře fungovat na nových datech.
Fine-tuning versus zadání a RAG
Změnou zadání pouze předáš modelu jiné instrukce nebo příklady při používání. Fine-tuning mění trénované parametry. Podle metody se upravuje celý model, jeho část nebo menší doplňkový adaptér.
RAG naproti tomu přináší dohledané podklady k aktuální otázce. Hodí se například pro zpřístupnění měnících se dokumentů. Obě metody lze kombinovat: dotrénovaný model může odpovídat s pomocí vyhledaných zdrojů.
Jak poznat přínos
Důležité je porovnat výsledek s původním modelem na stejných úlohách a sledovat i případné zhoršení jiných schopností. Po dotrénování dál probíhá běžná inference. Postup přípravy dat a vyhodnocení ukazuje dokumentace Hugging Face; rozdíl oproti úpravě zadání vysvětluje kurz Googlu.
