Reziduální proud je průběžná vnitřní reprezentace transformeru, do které se po jednotlivých vrstvách přidávají a z níž se čtou informace. Umožňuje sledovat, jak model postupně zpracovává vstup, a slouží jako místo pro analýzu jeho aktivací i mechanismů, které vedou k výsledné odpovědi.