NVIDIA vydala Nemotron 3.5 Bolt 74B-A9B 24GB, model pro lokální agentní úlohy na zařízeních RTX Spark a DGX Spark. Kombinuje architektury Mamba a Transformer a využívá směs expertů. Celkem má 74 miliard parametrů, při zpracování se aktivuje přibližně devět miliard. Vznikl strukturální kompresí většího modelu Nemotron 3.5 Super VL a následným dotrénováním.
Paměťový rozpočet drží především přibližně dvoubitová kvantizace vah expertů. Součástí vydání je také pomocný model LiLiCorr pro spekulativní dekódování, který má generování zrychlovat. NVIDIA ve vlastním testu na RTX Spark uvádí přibližně 84 tokenů za sekundu; výsledek nelze zobecnit na libovolný počítač. K dispozici jsou kvantizované váhy, varianta BF16 i formát GGUF. Cílem je provoz asistenta vedle dalších místních aplikací bez odesílání každého požadavku do cloudu.
