Technický text rozebírá pravděpodobnost celé trajektorie jazykového modelu od základů. Vychází z řetězového pravidla pravděpodobnosti a zapisuje posloupnost stavů a akcí, v níž model volí další akci a prostředí vytváří následující stav. U generování textu odpovídají akce možným dalším tokenům. Autor odděluje počáteční stav, který představuje prompt, od politiky modelu a od prostředí, v němž se akce odehrávají. Výklad pak ukazuje, jak se pravděpodobnost celé trajektorie rozpadá na pravděpodobnosti jednotlivých kroků. Jde o základní popis, který propojuje běžné generování tokenů s formulací používanou v reinforcement learningu. Text může sloužit jako přístupný úvod k tomu, proč se při trénování a vyhodnocování agentů pracuje s pravděpodobností celých sekvencí, ne jen s izolovanými odpověďmi.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.