Projekt AMX Reasoning ukazuje, jak daleko lze dostat velmi malý jazykový model na běžném procesoru. Autor zveřejnil model amx-reasoning-v1-instruct a popisuje Mixture-of-Experts architekturu s přibližně třemi miliony aktivních parametrů. Na jednom jádře Intel AMX podle zveřejněných výsledků dosahuje 6 616 tokenů za sekundu. Model byl trénován na 4,91 miliardy tokenů z dat Nemotron a autor u něj pozoruje základní kopírování v kontextu, poziční analogie i jednoduchou aritmetiku. Výzkum míří na levné lokální inference a ukazuje, že experimenty s malými sítěmi mohou mít praktický význam i mimo velké GPU clustery. Popis zveřejněný s modelem obsahuje i ukázkový kód pro spuštění.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.