Inference je chvíle, kdy vytrénovaný model zpracovává vstup a vytváří výstup. U chatbota jde o odpověď na otázku, u jiného modelu třeba o rozpoznání objektu na fotografii. Je to samotné používání modelu. Takto pojem vymezuje i slovník strojového učení od Googlu.
Jak to vypadá v praxi
Představ si, že do jazykového modelu vložíš dlouhý e-mail a požádáš o shrnutí do tří vět. Model zpracuje zadání a postupně vytvoří odpověď. To je inference.
U běžných generativních jazykových modelů vzniká text po menších jednotkách zvaných tokeny. Model při tvorbě další části zohledňuje zadání i dosud vytvořený text. Inference proto není jen vyhledání předem uložené odpovědi.
Inference versus trénování
- Trénování: model se učí z příkladů a upravují se jeho vnitřní parametry. Dalším trénováním lze už hotový model přizpůsobit určitému úkolu.
- Inference: model používá naučené parametry k výpočtu výstupu. Při běžném generování odpovědi se tyto parametry nemění.
Když do zadání přidáš ukázku požadovaného stylu, může se odpověď změnit i bez trénování. Rozdíl mezi takovou úpravou zadání a dotrénováním popisuje kurz Googlu o přizpůsobování jazykových modelů.
Proč se řeší rychlost a cena
Model potřebuje výpočetní prostředky také při používání. U chatu záleží na tom, jak dlouho čekáš na odpověď. U úlohy, která nespěchá, lze výstupy připravit dávkově dopředu. Tyto dva způsoby popisuje Google jako statickou a dynamickou inferenci.
Slovo inference samo neříká, zda model běží v telefonu, na tvém počítači, nebo na vzdáleném serveru. Nezaručuje ani správnost výsledku: označuje výpočetní proces, nikoli ověření odpovědi. Rychlejší inference tedy znamená kratší čekání, sama o sobě však není důkazem lepší kvality modelu.
Doplňování podkladů při odpovídání vysvětluje heslo RAG. Pro širší přehled si přečti typy umělé inteligence.
