EAGLE-4 zveřejnil nástroje pro spekulativní dekódování, které využívá menší návrhový model ke zrychlení odpovědí hlavního modelu. Návrhový strom přizpůsobuje velikosti dávky, hardwaru a zátěži při zachování výstupního pravděpodobnostního rozdělení cílového modelu. Balíček eagle-harness propojuje tuto techniku se SGLang, vLLM a experimentálně s TokenSpeed.
Autoři naměřili u Qwen3.8-27B na čtyřech B300 zrychlení 3,40krát v SGLang při jednom požadavku, s více souběžnými požadavky však přínos klesá. Výsledek platí pro zveřejněnou testovací sestavu, nikoli automaticky pro každý model. Kód je dostupný, ale nejde o open-source licenci schválenou OSI. Komerční užití podléhá podmínkám včetně příjmové hranice a omezení konkurenčních nabídek, proto vyžaduje samostatné posouzení licence.
