NanoGEMM je nový open-source engine pro násobení matic, který cílí na malé a střední tenzory používané při CPU inferenci. Projekt používá ruční dlaždicování registrů, blokování cache a instrukce AVX2 s FMA místo režie běžných BLAS knihoven. V benchmarku zveřejněném v repozitáři dosahuje na matici 16 krát 16 latence 1,23 mikrosekundy proti 3,21 mikrosekundy u NumPy, tedy přibližně 2,83násobného zrychlení. U větších matic ale výhoda mizí a pro rozměr 256 krát 256 je uvedený engine pomalejší než NumPy. Knihovna je napsaná pro Python, má licenci MIT a podporuje x86-64 procesory s AVX2 a FMA. Její smysl je hlavně v omezení pevné režie při častých malých výpočtech, ne v nahrazení všech optimalizovaných maticových knihoven.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.