Lineární pozornost je rodina mechanismů, které zpracovávají vztahy mezi tokeny bez vytváření celé tabulky porovnání každého tokenu s každým. Informace z klíčů a hodnot průběžně slučují do souhrnného stavu, se kterým pak pracuje aktuální dotaz. Při pevné velikosti reprezentací tak mohou výpočetní nároky růst lineárně s délkou sekvence místo kvadraticky jako u běžné plné pozornosti. Nejde jen o rychlejší GPU implementaci stejného výpočtu: mění se způsob výpočtu pozornosti a často i chování modelu. Úspora závisí na konkrétní variantě, hardwaru a úloze; neznamená automaticky stejnou kvalitu ani rychlejší celý model.
