Liquid AI vydala experimentální model LFM2.5-VL-DSpark, který funguje jako lehký draftovací model pro multimodální LFM2.5-VL-3B. Využívá spekulativní dekódování: menší model navrhne více tokenů a hlavní model je ověří v jediném průchodu. Liquid AI uvádí zrychlení dekódování až 2,66krát na GPU a 3,13krát na edge zařízeních. Celková propustnost podle testů rostla až 2,27krát na GPU a 2,62krát na edge. Novinka je dostupná na Hugging Face a podporují ji llama.cpp, SGLang a MLX-VLM. Jde o doplněk k existujícímu jazykově-obrazovému modelu, který má snížit latenci bez změny výstupní kvality. Výsledky se týkají konkrétních podporovaných implementací, nikoli automatického zrychlení každého zařízení.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.