Projekt vLLM představuje novou sadu hardwarově agnostických vrstev, která má udržet podporu různých akcelerátorů i v době, kdy moderní modely používají stále specifičtější optimalizace. Tým chce oddělit přenositelné části implementace od kódu laděného pro konkrétní modely a hardware. Cílem je obsloužit i starší GPU, neobvyklé akcelerátory a prosumerské karty, aniž by vLLM přišel o výkon na nejnovějších čipech. Na kartách NVIDIA H100 dosáhly nové vrstvy podle zveřejněných testů celkového průchodu tokenů do 3,4 procenta od nativní implementace, měřeno geometrickým průměrem tří modelů. Návrh je zatím ve vývoji a projekt sbírá zpětnou vazbu k RFC i prvním pull requestům.
