Mechanismus, který modelu umožňuje podívat se na všechna slova ve vstupu najednou a rozhodnout, která jsou pro aktuální pozici důležitá. Srdce transformer architektury – díky němu modely chápou kontext.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.