AMD ukazuje, že s obřím modelem Kimi K3 si poradí i bez Nvidie. Podle testů společnosti Wafer dosahuje akcelerátor MI355X s 288 GB paměti propustnosti 952 tokenů za sekundu na uzel, což je více než trojnásobek výkonu konfigurace s B200. Nvidia B300 je sice v absolutní propustnosti rychlejší, ale při více než dvojnásobné ceně za GPU vychází z porovnání výkonu na dolar lépe právě AMD. Model Kimi K3 od Moonshot AI má 2,8 bilionu parametrů a na jeden uzel B200 se nevejde ani se 192GB kartami. Podle autorů jde o první velký model, u kterého se nákladová výhoda MI355X naplno projevuje. Výsledky ale ukazují i slabiny AMD v softwarové podpoře, kdy bylo potřeba opravit chyby v ROCm knihovnách.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.