Když se AI předvádí na otázkách z testu, může působit jako hotový odborník. Jakmile ale dostane dlouhou práci s omezeným rozpočtem, nejasným zadáním a odpovědností za výsledek, kouzlo rychle mizí. Nový benchmark GDPx poslal agenty do jedenácti oborů, kde chyba není jen špatná věta v chatu, ale ztracený týden výzkumu, vadný návrh čipu nebo rozhodnutí, které musí někdo právně obhájit.
První výsledky jsou pro průmysl AI nepříjemné. GDPx obsahuje 206 úloh a nejlepší systém v úvodním žebříčku dosahuje zhruba 12 procent. Neznamená to, že dnešní modely neumějí psát, hledat nebo počítat. Znamená to, že mezi „umím odpovědět“ a „umím několik hodin spolehlivě pracovat v cizím oboru“ zeje propast.
Benchmark, který nechce další kvíz
GDPx připravila SemiAnalysis s pomocí čtrnácti specializovaných partnerů. Úlohy pokrývají návrh čipů, kyberbezpečnost, biologii, finance, právo, kvantitativní obchodování, hardwarový design, materiálový výzkum, vývoj softwaru, zarovnání a rekurzivní sebezdokonalování. Přehled metodiky a aktuální výsledky jsou na oficiálním webu GDPx; původní rámování projektu popisuje také článek SemiAnalysis.
Tohle rozložení je důležitější než samotné pořadí modelů. Klasické benchmarky se často ptají, zda systém zná správnou odpověď, případně zda zvládne krátký sled kroků. GDPx chce měřit práci, která má začátek, průběžná rozhodnutí, technická omezení a výstup, jenž musí někdo další použít.
Úloha tedy není jen otázka. Je to spíš malý pracovní projekt: přečíst podklady, zvolit postup, použít nástroje, držet se formátu, průběžně kontrolovat chyby a nakonec odevzdat výsledek, který odpovídá zadání. Právě tato poslední část bývá v marketingových ukázkách nejméně vidět.
Dvanáct procent není známka hlouposti
Číslo 12 procent svádí k lacinému titulku: AI je pořád neschopná. Takový závěr by byl stejně povrchní jako prezentace, která z jednoho vysokého skóre udělá důkaz univerzální odbornosti. Výsledek GDPx říká něco přesnějšího: současní agenti často selžou, když musí spojit odborné znalosti, práci s nástroji a dlouhé uvažování v prostředí, kde nestačí trefit přibližně správný směr.
V některých oborech je problém vidět okamžitě. U právních a finančních úloh se objevují výsledky, které vypadají přesvědčivě, ale nesplní požadovaný standard nebo nedodrží podmínky zadání. U návrhu čipů či hardwaru nestačí popsat rozumnou architekturu; návrh musí respektovat konkrétní vazby, omezení a kontrolovatelné parametry.
To je rozdíl mezi konverzačním dojmem a skutečnou prací. Člověku může odpověď znít odborně, protože používá správná slova. Inženýr, právník nebo výzkumník ale potřebuje vědět, zda se výsledek dá zkontrolovat, navázat na něj a bezpečně ho předat dál.
Agent není odborník jen proto, že zná oborová slova
Představme si laboratoř, kde dostane agent za úkol navrhnout experiment. Musí pochopit, co se měří, jaké jsou hranice, co je pouze hypotéza a jaký výsledek by hypotézu vyvrátil. Pokud místo toho sestaví působivý seznam pojmů a doplní mezery pravděpodobně znějícími větami, v chatu možná projde. V laboratoři právě vytvořil další práci pro člověka.
Stejný problém se opakuje ve financích a právu. Agent může najít relevantní pravidlo, ale přehlédnout výjimku. Může sestavit model, ale špatně pochopit, co je cílová proměnná. Může napsat právní rozbor, ale opřít závěr o zdroj, který se na danou situaci nevztahuje. Dlouhá úloha tak testuje nejen schopnost generovat text, ale také disciplínu při ověřování vlastních kroků.
V tom se GDPx potkává s otázkou, kterou jsme řešili už u srovnání stejného modelu v různých agentech. Výsledek nevzniká pouze uvnitř modelu. Ovlivňuje ho harness, dostupné nástroje, způsob jejich výběru, paměť, pracovní prostředí i to, zda systém pozná, že má přestat a požádat člověka o kontrolu.
Model je tedy součást pracovní linky, ne celá továrna. Dva systémy mohou používat stejnou rodinu modelů a přesto mít úplně jinou úspěšnost, protože jeden má dobře připravené nástroje a druhý se k nim dostane pozdě, nebo je obejde vlastní zkratkou.
Úkoly, které se nedají odbýt jedním trikem
Silná stránka GDPx spočívá v tom, že úlohy nejsou navržené jako jedna univerzální hádanka. V každém oboru vznikají jiné překážky: někde je nutná přesnost výpočtu, jinde práce s dokumentací, jinde dodržení bezpečnostních hranic nebo kontrola fyzických a ekonomických omezení. Agent nemůže spoléhat na jedinou naučenou šablonu.
U úloh kolem čipů a hardwaru je vidět, proč se nedá kvalita posuzovat jen podle slovního vysvětlení. Návrh může vypadat elegantně a současně porušit omezení, která rozhodují o tom, zda je vůbec realizovatelný. Podobně v materiálovém výzkumu nestačí navrhnout zajímavou kombinaci; musí dávat smysl v rámci dostupných měření, vlastností a postupu ověřování.
V kyberbezpečnosti je zase nutné oddělit znalost techniky od bezpečného provedení. Agent může rozumět pojmům a přesto špatně určit hranici povoleného testu. To je přesně důvod, proč se u podobných benchmarků nesmí zaměňovat demonstrace schopnosti s oprávněním k reálnému zásahu.
A v softwaru už nestačí napsat kód, který vypadá správně. Úloha může vyžadovat práci s existujícím repozitářem, zachování vazeb, testy a vysvětlení změny. Jak jsme psali u ceny coding agentů, firma nekupuje tokeny ani hezký diff. Kupuje dokončenou a ověřitelnou práci.
Co benchmark skutečně měří
GDPx není měřidlo obecné inteligence a není ani předpověď, kolik lidí zítra nahradí AI. Je to zátěžový test konkrétních pracovních úloh v konkrétních podmínkách. Jeho hodnota proto neleží v jediné tabulce, ale v tom, že nutí autory i čtenáře popsat, co přesně se považuje za úspěch.
Důležitá je také kontrola postupu. Pokud agent dojde ke správnému závěru náhodou nebo obejde nástroj, který měl být součástí úlohy, není to totéž jako spolehlivě provedená práce. Ve skutečném provozu totiž nechceme jen správný výsledek. Chceme vědět, z jakých podkladů vznikl, zda lze postup zopakovat a jestli se při příští podobné úloze nerozsype.
Právě tady se benchmarky často rozcházejí s firemní realitou. Firma nepotřebuje vítěze v obecné tabulce. Potřebuje systém, který zvládne její vlastní dokumenty, její nástroje, její schvalovací pravidla a její cenu chyby. GDPx může ukázat, jak obtížná je dlouhá odborná práce, ale nenahradí vlastní test na vlastním procesu.
Konec pohádky o univerzálním agentovi
Průmysl AI si zvykl prodávat model jako univerzálního zaměstnance. Jedna tabulka ukáže skóre, druhá cenu tokenů a třetí několik ukázek, v nichž agent během pár minut vyřeší úkol, na kterém by člověk pracoval celé dopoledne. GDPx do této pohádky přidává nepohodlnou otázku: co se stane, když úloha není připravená tak, aby model vypadal dobře?
Odpověď zatím není „agent je k ničemu“. Je mnohem praktičtější. Agent může být užitečný v části procesu, ale jeho hodnota bude záviset na tom, jak dobře je práce rozdělená, jaké podklady dostane a kdo kontroluje přechod od návrhu k rozhodnutí. V některých oborech může zrychlit hledání možností. Nemusí ale sám nést odpovědnost za volbu, která má právní, finanční nebo bezpečnostní důsledky.
Nejlepší výsledek GDPx proto není číslo 12 procent. Je to změna otázky. Místo „který model je nejchytřejší?“ se musíme ptát, kterou konkrétní práci zvládne daný agent opakovaně, s jakými nástroji, za jakou cenu a s jakým dohledem.
To je méně efektní než další žebříček modelů, ale mnohem blíž realitě. AI zatím neprohrává proto, že by neuměla mluvit o odborné práci. Prohrává ve chvíli, kdy má odbornou práci skutečně dokončit a nechat po sobě výsledek, za který se někdo odváží podepsat.
