Řídký autoenkodér je varianta autoenkodéru, která při učení podporuje aktivaci jen malého počtu vnitřních rysů. U jazykových modelů tak může rozložit složitou vnitřní reprezentaci na jednotlivé, lépe popsatelné vlastnosti. Výzkumníci tyto rysy používají k analýze toho, co se v modelu děje a proč vede k určitému výstupu.