Výzkumníci představili SSD-LLaMA, systém pro lokální běh obřích modelů typu Mixture-of-Experts, které se celé nevejdou do běžné operační paměti ani videopaměti. Nástroj používá SSD jako další vrstvu úložiště a podle popisu průběžně doručuje potřebné experty do RAM a VRAM. Autoři uvádějí, že systém dosáhl rychlosti vyšší než jeden token za sekundu při běhu trilionového modelu na jediné kartě RTX 5090 a s nejvýše 32 GB RAM. Nejde o zmenšení modelu odstraněním části expertů, ale o změnu práce s úložištěm a přesun dat mezi SSD, procesorem a GPU. Přístup by mohl rozšířit lokální experimentování s modely, které dosud vyžadovaly datacentrum. Výsledky zatím pocházejí z výzkumného prototypu a čekají na ověření v širších podmínkách.
