ShadowPEFT se stal novou metodou v knihovně PEFT pro parametricky úsporné dolaďování modelů. Přístup se od LoRA liší tím, že místo samostatných nízkorozměrných úprav vah používá kompaktní stavový shadow model s vlastním skrytým stavem. Ten se průběžně přenáší mezi vrstvami Transformeru a do výpočtu vkládá informace specifické pro danou úlohu. Základní model přitom zůstává zmrazený a trénují se jen dodatečné parametry, takže metoda zachovává hlavní výhodu PEFT. Autoři popisují integraci do společného rozhraní knihovny, ukládání adaptéru i srovnání s LoRA a DoRA. Vývojáři tak mohou nový přístup vyzkoušet ve stejném workflow jako zavedené metody.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.