Nový projekt Hashyy zveřejnil experiment s provozem modelu Qwen3.8-Flash-Next se 177 miliardami parametrů na jedné RTX 5070 s 12 GB grafické paměti a 32 GB operační paměti. Kvantované váhy zabírají přibližně 76,3 GiB, takže se do paměti celé nevejdou. Upravené prostředí založené na llama.cpp průběžně načítá potřebné experty a často používané části ponechává v rychlejší paměti. Autor ve vlastním testu uvádí přibližně 11,5 tokenu za sekundu. Zveřejňuje testovací skripty i srovnání výstupu s kontrolním během. Čísla nejsou nezávislým benchmarkem a výchozí srovnání nepředstavuje neupravené llama.cpp. Projekt ukazuje konkrétní způsob přesouvání vah mezi úložištěm a pamětí, nikoli nový model ani slib stejné rychlosti na každém počítači.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.