Kontextové okno je kapacita informací, se kterými jazykový model může pracovat v jednom zpracování. Udává se v tokenech, tedy menších jednotkách textu; u některých modelů do kontextu vstupují také obrázky, zvuk nebo video. Počet tokenů nelze převést na pevný počet českých slov.
Co kontext zabírá
Místo potřebují instrukce, předaná historie konverzace, přiložené podklady a podle pravidel konkrétního modelu také vznikající výstup. Aplikace proto musí hlídat nejen velikost dokumentu, ale celý požadavek a příslušné vstupní i výstupní limity.
Představ si rozbor několika dlouhých smluv. Pokud se podklady nevejdou do dostupného prostoru, aplikace může požadavek odmítnout, část textu vynechat nebo dokumenty nejprve shrnout. Konkrétní chování závisí na aplikaci, ne pouze na modelu.
Kontext versus paměť
Kontextové okno není trvalý zápis znalostí do modelu. Informace uložené v paměti aplikace se musí při dalším použití vhodným způsobem zpřístupnit. Jednou z možností je RAG, který k otázce vyhledá jen relevantní části dokumentů.
Větší neznamená vždy lepší
Velké okno umožňuje předat více podkladů, nezaručuje však, že model všechny stejně dobře využije. Výzkum Lost in the Middle u zkoumaných modelů ukázal, že záleží i na pozici informace v dlouhém vstupu. Výsledek nelze bez nového měření převést na každý dnešní model.
Základní pojmy a práci s dlouhým vstupem vysvětluje dokumentace Gemini. Při výběru modelu proto vedle kapacity sleduj také kvalitu odpovědí nad vlastními dokumenty.
