Katastrofické zapomínání je jev, při kterém se model při učení nového úkolu výrazně zhorší v tom, co už dříve uměl. Nové znalosti tak mohou přepsat nebo narušit starší schopnosti, což je důležitý problém hlavně u průběžného učení. Vývojáři proto sledují výkon na starších úkolech a používají postupy, které pomáhají uchovat dříve získané znalosti.