Embedding je číselná reprezentace textu nebo jiných dat, která umožňuje porovnávat jejich podobnost. Jde o vektor, tedy uspořádaný seznam čísel. Model se učí vytvářet takové reprezentace, aby zachycovaly vztahy užitečné pro daný úkol.
Jak pomáhá při hledání
Napíšeš do hledání „jak ztišit ventilátor notebooku“. Systém může najít návod nazvaný „omezení hlučnosti chlazení“, přestože se názvy neshodují. Porovná embedding otázky s embeddingy dokumentů a vybere podobné výsledky. Nehledá tedy pouze totožná slova.
Takové hledání se používá například v RAG, kde se nalezené pasáže předají jazykovému modelu jako podklady k odpovědi. Samotný embedding ale odpověď nepíše: slouží především jako reprezentace pro další výpočty.
Embedding versus klíčová slova
Klíčová slova dobře zachytí přesný název, číslo produktu nebo nezvyklou zkratku. Embedding může pomoci s odlišným vyjádřením podobného významu. V praxi se oba způsoby často kombinují, protože každý může přehlédnout něco jiného.
Co podobnost neznamená
Blízkost vektorů není důkaz pravdivosti ani jistota, že dokument odpovídá na otázku. Výsledek závisí na použitém modelu, jazyku a rozdělení dokumentů. Vektory z různých modelů navíc nelze bez dalšího považovat za vzájemně srovnatelné.
Princip prostoru embeddingů vysvětluje kurz Googlu. Praktické problémy hledání v rozdělených dokumentech a spojení s vyhledáváním podle slov rozebírá Anthropic v článku o kontextovém vyhledávání.
