Open-source knihovna Fastllm přináší možnost spouštět model DeepSeek-V4 na spotřebitelském hardwaru s pouhými 10 GB VRAM. Jde o čistě C++ implementaci inference, která nahrazuje standardní PyTorch backend a optimalizuje výpočty pro omezenou paměť. Fastllm podporuje jak husté modely (Qwen, Llama, Phi), tak MoE modely včetně DeepSeek, a nabízí podporu kvantizace a AWQ formátů. Projekt je k dispozici na GitHubu a představuje významný krok k dostupnosti špičkových AI modelů na běžném hardwaru bez potřeby drahých cloudových GPU instancí.
