Cerebras zveřejnila technický rozbor toho, jak rozděluje modely s biliony parametrů mezi více waferových čipů. Jako ilustrační příklad používá Kimi K3 a ukazuje, že vedle samotných vah je nutné počítat s pamětí pro stav souběžných požadavků. U vrstev s plnou pozorností zabírá místo také KV cache, zatímco vrstvy s lineární pozorností mají jiný paměťový profil.

Jednotlivé části modelu tvoří výpočetní potrubí. Váhy zůstávají na přiřazených čipech a mezi nimi putují mezivýsledky; různé stupně mohou současně zpracovávat různé požadavky. Menší skupiny požadavků upřednostňují rychlost jednotlivé odpovědi, větší zvyšují celkovou propustnost. Jde o vysvětlení architektury a příklad s konkrétními předpoklady, nikoli o oznámení nového modelu nebo záruku stejného výkonu pro každé nasazení.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.