IBM Research představilo vLLM-Hook MIA, otevřený plugin pro sledování a ovlivňování vnitřních stavů jazykového modelu během generování odpovědi. Vývojář může určit, které aktivace chce zachytit nebo upravit, aniž by kvůli tomu vypínal zrychlené přehrávání výpočetních grafů ve vLLM. Právě tato optimalizace běžným výzkumným nástrojům často brání zasahovat do jednotlivých vrstev modelu.
Ve zveřejněných experimentech dosáhl plugin až dvacetinásobného zrychlení proti předchozí verzi vLLM-Hook. U některých menších modelů přidalo řízení chování jen dvě procenta zpoždění, u modelu Llama se 70 miliardami parametrů šest procent. Výsledky platí pro testované konfigurace, nikoli každé nasazení. Nástroj má usnadnit praktické kontroly a zásahy při inferenci; sám o sobě nezaručuje odstranění halucinací ani bezpečnostních chyb.
