DeepSeek zveřejnil DeepInfer, inferenční framework používaný ve vlastní produkční infrastruktuře. Otevřená verze nabízí offline spouštění modelu DeepSeek-V4.1-Flash a podporuje akcelerátory NVIDIA SM100 i Huawei Ascend 950. Obsahuje optimalizovaná výpočetní jádra, paralelní zpracování, asynchronní plánování a techniku DSpark pro rychlejší generování odpovědí.
Nejde však o hotovou kompletní službu pro obsluhu zákaznického provozu. Zveřejněný balík neobsahuje systém KV cache ani plné rozdělení práce mezi fáze zpracování vstupu a generování či vyvažování provozu mezi replikami. Nabízí také strukturované výstupy omezené schématem JSON, regulárním výrazem nebo gramatikou. Deterministické vzorkování a nezávislost výsledku na složení dávky mají popsané podmínky a platí pouze pro variantu na NVIDIA. Kód je dostupný pod licencí Apache 2.0.
