Nový open-source projekt CellularFlow navrhuje jazykový model s oddělenou pamětí pro znalosti a sekvenční uvažování. Místo běžných hustých feed-forward vrstev používá asociativní paměťové banky a epizodický zásobník, do kterého lze zapisovat nové skutečnosti. Projekt nabízí tři režimy: průběžné učení při inferenci pomocí aktualizace EMA bez zpětného průchodu, selektivní dolaďování jen paměťových částí a rychlé vložení faktu do dočasných slotů. Autoři uvádějí, že jejich experimentální verze si při postupném učení pěti domén zachovala 83,9 procenta výkonu, zatímco základní transformer 61,8 procenta. Jde o výsledky z benchmarku dodávaného s repozitářem, nikoli o nezávislé srovnání. Kód počítá s PyTorchem a podporou CPU, GPU i TPU.
