BottleCap AI zveřejnila ThinkingCap variantu modelu NVIDIA Nemotron 3.5 Lightning 30B A3B, upravenou pro kratší uvažování. V jedenácti benchmarcích firma naměřila průměrně o 22,8 procenta méně tokenů pro přemýšlení při poklesu přesnosti o 0,88 procentního bodu. Výsledky tedy neznamenají zrychlení zdarma ve všech úlohách, ale konkrétní kompromis mezi délkou výpočtu a kvalitou odpovědí. V ukázkovém souběžném provozu upravený model dokončil 25 stejných chemických úloh oproti jedenácti u původní verze. Obě varianty přitom běžely na stejném hardwaru a se stejným nastavením. Kratší odpovědi mohou také snížit nároky na paměť během obsluhy více požadavků. Jde o měření autorů úpravy, nikoli o nezávislé potvrzení výkonu ve všech nasazeních.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.