AI se dnes často testuje tak, jako kdyby kancelářská práce byla soutěž v rychlém odpovídání. Položíte otázku, změříte správnost a z tabulky vyjde vítěz. Jenže člověk v práci většinou nedostane jednu otázku. Dostane hromadu podkladů, několik nástrojů, nejasné zadání a termín, který už včera utekl.
Právě tento rozdíl se snaží zachytit nový test Computer Work Val. Projekt firmy Plato neposílá modely k jednoduchému kvízu, ale do simulovaných kanceláří, kde musí dokončit vícekrokovou práci. Nejlepší zveřejněný výsledek je 58,5 procenta úloh. To není důkaz, že AI neumí pracovat. Je to ale velmi nepříjemná připomínka, že mezi přesvědčivou odpovědí a hotovým pracovním výsledkem pořád zeje propast.
Computer Work Val v1.0 vychází z 300 pracovních úloh sestavených podle práce lidí, kteří podle autorů vydělávají více než 100 tisíc dolarů ročně. Plato je rozložil do deseti oblastí a 36 rolí, od financí a účetnictví přes technické návrhy a právo až po zdravotnickou administrativu, marketing nebo IT.
Když agent neodpovídá, ale musí práci dokončit
Rozdíl proti běžnému benchmarku je vidět na samotném zadání. Jedním z příkladů je sestavit čtvrtletní výsledovku z transakcí, zachovat správné položky, přiložit soubor a poslat ho finančnímu řediteli. Agent tedy nemusí jen poznat správné číslo. Musí pracovat s tabulkou, dodržet strukturu, provést výpočty, vytvořit soubor a nakonec udělat správnou akci.
Plato pro tyto úlohy používá věrné kopie nástrojů jako Gmail, Excel, Google Sheets, Salesforce, Jira nebo WordPress. Celkem testovací prostředí podle autorů běží na 210 simulovaných aplikacích. Data jsou smyšlená, ale pracovní situace se mají podobat tomu, co člověk řeší v běžném firemním provozu.
To je důležitá změna pohledu. Chatbot může napsat perfektní odstavec a přitom nezvládnout úkol, ve kterém je potřeba přečíst pět dokumentů, porovnat jejich verze, upravit tabulku a výsledek uložit na správné místo. V takové práci není největší problém jazyk. Problém je udržet záměr přes několik kroků.
Na Radyzu jsme tenhle posun popisovali už u AI agentů v pracovním prostředí. Člověk nehodnotí jen to, co agent napsal. Hodnotí, jestli se dostal ke správnému výsledku, jestli cestou něco nepřehlédl a zda po něm zůstala použitelná stopa.
58,5 procenta není vítězství. Je to strop této sady
Výsledky zveřejněné na stránce Computer Work Val jsou uvedené jako průměrné skóre pass@1, tedy podíl úloh dokončených správně na první pokus. V pořadí jsou Gemini 4 Argon s 58,5 procenta, Claude Opus 5.5 s 52,5 procenta, GPT-6 Astra s 43,1 procenta, Grok 4.7 s 39,9 procenta a Muse Wonder s 39,6 procenta.
| Pořadí | Model a režim | Průměrný pass@1 |
|---|---|---|
| 1. | Gemini 4 Argon [high] | 58,5 % |
| 2. | Claude Opus 5.5 [high] | 52,5 % |
| 3. | GPT-6 Astra [high] | 43,1 % |
| 4. | Grok 4.7 [high] | 39,9 % |
| 5. | Muse Wonder [high] | 39,6 % |
Je lákavé přečíst tabulku jako žebříček vítězů a poražených. Přesnější čtení je jiné: i nejlepší systém v této konkrétní sadě nedokončil správně více než čtyři z deseti úloh. Výsledek navíc pochází z metodiky a prostředí připraveného samotným Platem. Je to zajímavé měření, ne nezávislý audit všech modelů ani předpověď jejich chování v každé firmě.
Důležitá je také konfigurace. Čísla se vztahují ke konkrétním modelům a režimu označenému jako high. Změna nástroje, dostupných instrukcí, počtu pokusů nebo pracovního prostředí může pořadí změnit. Benchmark proto není věčná tabulka schopností, ale snímek konkrétního způsobu práce.
Chyba v tabulce není totéž co špatný e-mail
Plato se nesoustředí jen na to, zda je výsledek správně. Autoři nechali tvůrce úloh hodnotit také to, co by selhání znamenalo v reálné práci: jak obtížně by se napravovalo, koho by zasáhlo a jak dlouho by mohlo zůstat skryté.
U Gemini 4 Argon označili autoři osm procent nejhorších variant selhání za závažné. U Claude Opus 5.5 to bylo šest procent, u GPT-6 Astra deset procent, u Groku 4.7 čtrnáct procent a u Muse Wonder šest procent. Nejde o počet skutečných incidentů. Jde o expertní odhad autorů jednotlivých úloh, jak drahá nebo nebezpečná by chyba mohla být, kdyby se stala v práci.
Tohle je přesně vrstva, která v běžných testech chybí. Špatně shrnutý e-mail může znamenat další kontrolu. Chybně odeslaná objednávka, přehlédnutá podmínka ve smlouvě nebo špatně zpracovaný zdravotnický záznam mají úplně jinou cenu. Jeden bod přesnosti navíc proto nemusí být důležitější než schopnost poznat, kdy se má agent zastavit.
Podobnou hranici popsal i Tracelight ve své zkušenosti s řízením AI agentů: firma uvádí vyšší počet sloučených změn, ale sama upozorňuje, že jde o vlastní provozní zkušenost, nikoli nezávislý benchmark. Číslo bez popisu toho, co se stane při chybě, je jen polovina příběhu.
Deset oborů není celý pracovní svět
Computer Work Val zahrnuje finance a účetnictví, engineering a design, právní a compliance agendy, zdravotnickou administrativu, marketing, pojišťovnictví, software a IT, prodej, provoz a HR. Největší část tvoří finance a účetnictví se 75 úlohami, následuje engineering a design se 64 úlohami a právní a compliance agenda se 42 úlohami.
Výběr má logiku: jde o práci, ve které se velká část činností odehrává v digitálních nástrojích a lze ji simulovat. Neznamená to ale, že test reprezentuje všechny zaměstnance nebo že z něj lze přímo odvodit, kolik profesí AI nahradí. Manuální práce, péče, řemesla nebo malé provozy se do této konstrukce vejdou jen omezeně.
Ještě podstatnější je původ úloh. Plato je spojil s lidmi z amerických profesí, které mají podle autorů vysoký podíl nákladů práce v digitálním světě, a s pracovníky, kteří AI intenzivně používají a mají nejméně tři roky praxe v oboru. To může vést ke kvalitnějším úlohám. Zároveň to nastavuje laťku podle zkušených pracovníků v konkrétním trhu, nikoli podle průměrné kanceláře v každé zemi.
Benchmark se snaží zkopírovat nepořádek kanceláře
Nejzajímavější část projektu není samotný žebříček. Je to pokus vytvořit prostředí, kde se výsledek dá ověřit. Úloha nekončí textem v chatu, ale stavem, který po agentovi zůstane v simulované aplikaci. Verifikátor může zkontrolovat, zda sedí položky v tabulce, zda byl přiložen správný soubor nebo zda agent poslal výsledek na správnou adresu.
Tím se mění i význam slova hodnocení AI agentů. Nejde jen o to, zda model ví, co je správný vzorec. Jde o to, jestli ho použije na správná data, nepřepíše omylem jinou buňku a práci opravdu uzavře. Teprve tady se ukáže rozdíl mezi agentem, který umí působivě plánovat, a agentem, který umí něco bezpečně dokončit.
Pro firmy je to praktická lekce. Pokud chcete nasadit agenta do účetnictví, podpory nebo nákupu, nestačí se ptát, jak dobře odpovídá na ukázkový prompt. Musíte předem určit, co je hotový výsledek, jak se ověří a kdo uvidí chybu, když ji systém udělá.
Firmy by neměly kupovat autonomii. Měly by kupovat ověřitelnou práci
Computer Work Val podle mě trefuje skutečný problém AI agentů lépe než další soutěž v odpovědích. Kancelářská práce není série izolovaných otázek. Je to řetěz malých rozhodnutí, přesunů dat, kontrol a výjimek. Selhání může vzniknout v kterémkoli článku a na konci už nemusí být vidět, kde se původní chyba stala.
Představme si agenta, který správně přečte fakturu, ale uloží ji pod špatného dodavatele. Nebo připraví dobrý report, jenže použije starou verzi tabulky. Z pohledu chatbota je odpověď možná bezchybná. Z pohledu firmy je úloha zkažená.
Proto bude v praxi důležitější než další desetina bodu v žebříčku několik nudných otázek: lze výsledek automaticky ověřit, jde akci vrátit, zůstane po ní auditní stopa a musí člověk schválit okamžik, kdy se pracuje s penězi, smlouvou nebo citlivými daty? Pokud na ně firma neumí odpovědět, nepomůže jí ani nejlepší model v tabulce.
Computer Work Val neukazuje, že AI agenti selhávají vždy. Ukazuje něco užitečnějšího: při skutečné práci je stále nutné měřit dokončení, ne dojem z odpovědi. Nejlepší systém zvládl 58,5 procenta úloh v jedné konkrétní sadě. To je dost na to, aby se vyplatilo testovat další nasazení, ale málo na to, aby někdo rozdal plné pravomoci a odjel na dovolenou.
Budoucnost agentů se proto nebude rozhodovat jen podle toho, který model vyhraje další benchmark. Rozhodne se podle toho, zda firmy dokážou kolem modelu postavit práci, ve které je chyba vidět, její dopad omezený a člověk ví, kdy má říct ne.
