Ant Group a komunita vLLM otevřely Humming, knihovnu výpočetních jader pro inferenci s kvantizovanými modely. Má omezit potřebu samostatných implementací pro každou kombinaci formátu vah, přesnosti aktivací a generace GPU. Podporuje husté modely i modely se směsí expertů, grafiky Nvidia od architektury Turing a některá další zařízení kompatibilní s CUDA.
Knihovna nejprve převede podporované kvantizační formáty do společné reprezentace a poté vybírá konfiguraci výpočtu podle hardwaru a zátěže. Specializovaná jádra kompiluje za běhu a ukládá pro další použití. Autoři zveřejnili také vlastní měření rychlosti včetně testů celého modelového serveru. Výsledky se liší podle zařízení a souběhu požadavků, nelze je proto převést na univerzální slib zrychlení libovolného modelu. Zdrojový kód je dostupný ve veřejném repozitáři projektu vLLM.
