Nový fork llama.cpp se zaměřuje na situaci, kdy Mixture-of-Experts model přesahuje celkovou kapacitu grafických pamětí. Místo toho, aby další GPU sloužilo hlavně jako rozšíření paměti, projekt používá živou cache expertů, chytřejší vytěsňování, překryv práce CPU a GPU a sloučené kernely. Často používané experty se drží ve volné VRAM, zatímco ostatní zůstávají v systémové paměti a počítají se souběžně na CPU. README uvádí měření na dvojici RTX 3090. U modelu GLM-5.3-Flash o velikosti 117 GB vzrostla rychlost z 12,3 na přibližně 25 tokenů za sekundu, u jiné konfigurace až na 27,72 tokenu. U modelu MiMo-2.6-Flash autoři uvádějí zrychlení z 4,7 na 9,9 tokenu za sekundu při stejné výstupní kvalitě. Jde o experimentální větev, nikoli o změnu hlavního projektu llama.cpp.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.