Google vydal Android Bench 2.0, který místo krátkých oprav testuje i dlouhé úkoly trvající několik dní. Modely a agenti v nich například přidávají funkce, aktualizují závislosti, stavějí aplikace od nuly nebo převádějí multiplatformní projekt na Android. Nová verze používá průběžné skóre, které zohledňuje funkčnost, vizuální podobu i regresní chyby, a přidává hodnocení agentů napojených na konkrétní modely. Výsledky ukazují výrazně nižší úspěšnost u složitých zadání: nejlepší systémy zvládly dlouhé úkoly s úspěšností kolem 28 procent, zatímco u původních kratších úloh se nejvyšší skóre pohybovalo kolem 91 procent. Benchmark tak zachycuje rozdíl mezi jednorázovou úpravou kódu a delší autonomní prací.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.