Nový experiment ukazuje, jak lze z běžného rozhraní pro jazykové modely udělat rychlý nástroj pro rozhodování z textu i obrazu. Princip stojí na krátkých otázkách s omezenou sadou odpovědí a na čtení pravděpodobností jednotlivých tokenů. Díky tomu model nemusí psát dlouhé vysvětlení a může vracet například klasifikaci nebo skóre. Autor doplnil podporu příloh, takže stejný postup použil i pro snímky z webkamery. S modelem Gemma 4 12B naměřil přibližně jeden snímek za sekundu na RTX 3090, zatímco vzdálený model zpracoval asi 0,2 snímku za sekundu. Ukázka naznačuje praktickou cestu k levným lokálním rozhodovacím smyčkám.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.