Klíčová součást transformerů – místo jedné pozornosti používá několik hlav najednou, každá se zaměřuje na jiný aspekt vztahů mezi slovy. Výsledky se pak spojí, což modelu dává bohatší pochopení kontextu.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.