Výzkumníci z Huazhong University of Science and Technology představili Moebius, vysoce efektivní framework pro obrazové doplňování (inpainting) s pouhými 0,2 miliardy parametrů, který svým výkonem konkuruje modelům s deseti miliardami parametrů. Klíčem je nový blok Local-Lambda Mix Interaction, který komprimuje prostorové a globální kontexty do matic s pevnou velikostí, čímž dramaticky snižuje počet parametrů, aniž by ztrácel na kvalitě reprezentace. Framework navíc využívá adaptivní strategii destilace s více granularitami, která dynamicky vyvažuje gradientní ztráty. Výsledky ukazují, že optimalizovaný specializovaný model může v praxi nahradit mnohem větší foundation modely s výrazně nižšími výpočetními nároky.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.