RAG propojuje vyhledávání informací s generováním odpovědi. Zkratka znamená Retrieval-Augmented Generation. Systém k otázce nejprve dohledá relevantní podklady a předá je jazykovému modelu. Model tak může odpovídat s pomocí firemních dokumentů nebo jiných zdrojů, které dostane až při použití. Princip popisuje dokumentace Amazon Bedrock.
Jak to vypadá v praxi
Představ si asistenta, který má přístup k návodům pro domácí spotřebiče. Zeptáš se, jak vyčistit filtr konkrétního modelu pračky. Systém vyhledá příslušnou část návodu, přiloží ji k otázce a model z ní sestaví postup. Odpověď může obsahovat také odkaz na podklad.
Důležitý je výběr správného dokumentu. Kdyby vyhledávání přineslo návod k jiné pračce, plynule napsaná odpověď může být chybná. Odkaz na zdroj usnadní kontrolu, ale sám nedokazuje, že odpověď jeho obsah vystihuje.
RAG versus dotrénování
- RAG: dodává podklady při odpovídání. Informace lze aktualizovat ve zdrojových dokumentech a zpřístupnit je vyhledávání, aniž by bylo nutné znovu trénovat samotný jazykový model.
- Fine-tuning neboli dotrénování: přizpůsobuje model dalším trénováním na příkladech. Mění jeho parametry, například kvůli konkrétnímu úkolu nebo způsobu odpovídání.
Oba postupy lze kombinovat. Také původní výzkumná práce o RAG pracovala s dotrénováním. RAG tedy neznamená zákaz trénování; jeho podstatou je využití dohledaných podkladů při tvorbě výstupu.
Kde má RAG limity
Systém může přehlédnout důležitou pasáž, použít zastaralý dokument nebo špatně pochopit otázku. Množství textu, které model najednou zpracuje, je omezené, takže nelze bez rozmyslu přikládat celý archiv. Vyhledávání navíc přidává čas a u neveřejných podkladů musí respektovat přístupová práva uživatele. Tyto praktické nároky rozebírá přehled RAG od Microsoftu.
RAG proto pomáhá odpověď opřít o dostupné zdroje, ale nezaručuje její správnost. U důležitého údaje má smysl otevřít citovaný dokument a zkontrolovat, zda skutečně podporuje to, co asistent tvrdí.
Generování odpovědi probíhá při inferenci. Další vysvětlení najdeš ve slovníku AI pojmů.
