Nejčastější otázka u AI agentů zní: který model je nejlepší? Čerstvý test SineFrame M3 ukazuje, že to může být špatně položená otázka. Stejný Claude Haiku 5.5 zvládl stejné úlohy nad 21 MCP servery výrazně lépe v OpenCode než v Claude Code. Rozdíl nevytvořil nový model, ale prostředí, které ho vedlo k práci.
Rychlá zpráva o benchmarku zachytila čísla, která by se v běžné tabulce modelů snadno ztratila: OpenCode dosáhl úspěšnosti 82,0 procenta, zatímco Claude Code 65,4 procenta. To není drobná odchylka způsobená zaokrouhlením. Je to sedmnáct bodů výkonu, které se připíší agentovi, přestože uvnitř běží stejný model.
Původní analýza SineFrame M3 uvádí také Codex, ale jeho číslo nelze číst jako čisté srovnání agentů. Codex v testu běžel s jiným modelem, GPT-6 Luna, a dosáhl 56,5 procenta. Férové porovnání vlivu prostředí proto představují především dvojice Claude Code a OpenCode se stejným Haiku 5.5.
Model není celý produkt
Představme si dva stejné motory na dvou různých pracovištích. Jeden dostane přímý přístup k nářadí, které má použít, a druhý má vedle sebe vlastní sadu nástrojů, které zná déle a kterým automaticky dává přednost. Výkon motoru se nezměnil. Změnila se cesta k výsledku.
Přesně to je pointa testu M3. Autoři vzali stejný model, stejné zadání a stejných 21 serverů, ale provedli je přes různé coding agenty. Každý server měl přibližně dvacet úloh, testovalo se ve třech opakováních a celkem vzniklo 3 717 hodnocených běhů mezi 29. říjnem a 1. listopadem 2026.
Tohle je důležitější než další soutěžní tabulka modelů. Hodnocení AI agentů totiž neměří jen to, zda model umí napsat správnou větu. Měří také používání nástrojů: jestli se dostane ke správnému nástroji, pochopí jeho popis, použije ho ve správný okamžik a dovede výsledek převést do odpovědi.
M3 samo popisuje svůj smysl přesněji než většina marketingových benchmarků: nástroj má kontrolovat nejen výsledek, ale i volání MCP serveru, která k němu vedla. Veřejný repozitář M3 ukazuje, že test může selhat i tehdy, když agent odpoví správně, pokud odpověď získal jinou cestou, než kterou měla úloha ověřit.
Rozdíl nevznikl všude
Na první pohled by se nabízelo jednoduché vysvětlení: OpenCode je prostě lepší v práci s nástroji. Rozdělení výsledků podle typu serveru ale tento závěr oslabuje. U jedenácti serverů, které neměly konkurenční vestavěný nástroj, byly výsledky blízko sebe.
U těchto jedenácti serverů dosáhl Claude Code 93,5 procenta, OpenCode 96,2 procenta a Codex 92,1 procenta. Rozdíl mezi agenty se pohyboval v řádu několika bodů. Když agent neměl po ruce vlastní náhradu, připojený server se k němu většinou dostal.
Propast se otevřela u deseti serverů, jejichž úkoly se překrývaly s vestavěnými schopnostmi agentů. Šlo o webové vyhledávání a dokumentaci, práci se soubory a shellem nebo paměť. Tady měl Claude Code 34,5 procenta, OpenCode 66,3 procenta a Codex 17,2 procenta.
| Skupina serverů | Claude Code | OpenCode | Codex |
|---|---|---|---|
| 11 bez překryvu s vestavěným nástrojem | 93,5 % | 96,2 % | 92,1 % |
| 10 s překryvem | 34,5 % | 66,3 % | 17,2 % |
| Všech 21 serverů | 65,4 % | 82,0 % | 56,5 % |
Čísla pocházejí z článku SineFrame M3 a vztahují se ke konkrétní kombinaci agentů, modelů, úloh a verzí. Neříkají, že OpenCode je obecně nejlepší coding agent. Říkají něco praktičtějšího: když váš produkt stojí na MCP serveru, výsledek závisí na tom, kdo serveru stojí mezi dveřmi a uživatelem.
Dvě správné odpovědi, jeden neúspěšný běh
Nejvýmluvnější příklad pochází ze serveru Exa. Zadání se ptalo na název vydání Kubernetes v1.37, které vyšlo v srpnu 2026. OpenCode zavolal nástroj Exa, našel zdroj a odpověděl „Garhwal“. Claude Code došel ke stejnému názvu, ale použil vlastní WebSearch.
Pro člověka jsou obě odpovědi správně. Pro test M3 je správná jen první, protože benchmark ověřoval, zda se očekávaná hodnota objevila v odpovědi MCP serveru. Claude Code tedy vyřešil problém uživatele, ale neprokázal, že funguje server, který měl být testován.
To není chyba metodiky. Je to její účel. Vývojář MCP serveru nechce vědět pouze to, zda agent někde na internetu našel odpověď. Chce vědět, zda jeho server agent skutečně použil, zda rozuměl jeho rozhraní a jestli má smysl ho dál provozovat.
Současně je to varování před příliš pohodlnou interpretací skóre. Nízké skóre může znamenat, že server vrací špatné výsledky. Může ale také znamenat, že se k němu agent vůbec nedostal. Bez údaje o ignorování serveru benchmark míchá dvě zcela odlišné poruchy.
M3 uvádí, že na serveru Exa dosáhl OpenCode 96 procent, zatímco Claude Code a Codex skončily na 11 procentech. Neznamená to, že by oba agenty neuměly najít odpověď. Znamená to, že si pro stejnou práci častěji vybraly vlastní cestu.
Agent soutěží s nástrojem, který jste mu nainstalovali
Claude Code v testu sahal po WebSearch a WebFetch, když úloha vypadala jako webová otázka, a po Bash a Read při práci se soubory. Codex podle M3 u některých serverů nepoužil připojený nástroj ani jednou v úlohách, kde se jeho použití očekávalo. OpenCode měl v tomto konkrétním testu jednu důležitou nevýhodu: neměl vestavěné webové vyhledávání, takže připojený server pro něj nebyl volitelná dekorace.
To je nepříjemná zpráva pro každého, kdo prodává MCP server jako hotový produkt. Nestačí říct, že server umí vyhledávat, číst dokumentaci nebo pracovat s pamětí. Musíte také vědět, jestli agent vůbec považuje váš nástroj za nejlepší cestu k cíli.
V oficiální specifikaci MCP je objevování nástrojů založené na operaci tools/list a na popisech, které klientovi vysvětlují dostupné funkce. To je nutný základ. Není to ale příkaz, který by modelu přikázal konkrétní nástroj použít, ani záruka, že klient upřednostní připojený server před vlastní schopností.
Tady navazuje i náš dřívější rozbor MCP serveru. Seznam funkcí je jen jedna vrstva. Provozní chování, start, oprávnění, popisy nástrojů a skutečné rozhodování agenta jsou vrstvy další. Benchmark M3 k nim přidává jednoduchou, ale tvrdou otázku: použil server někdo vůbec?
Co má měřit firma, ne jen autor benchmarku
První povinnost má výrobce serveru. Test přes jeden agent není test produktu, ale test jedné kombinace. Pokud zákazníci používají Claude Code, OpenCode a Codex, musí se měřit všechny tři cesty. Jinak může tým týdny opravovat funkci, kterou část uživatelů nikdy nevolá.
Druhá povinnost patří nákupčím. Při výběru agentní platformy nestačí cena modelu ani obecné skóre v kódování. Rozhodující je, jak se agent chová v konkrétním prostředí: jaké nástroje vidí, kterým dává přednost, co udělá při chybě a kolikrát obchází připojenou službu vlastním shellem nebo vyhledáváním.
Třetí povinnost má tým, který systém nasazuje. Měl by oddělit nejméně čtyři údaje: zda byla úloha vyřešena, zda byla odpověď správná, zda byl použit správný server a kolik lidské práce stál dohled. Teprve z těchto čísel vznikne obraz skutečného výkonu.
To se podobá problému ceny coding agentů, o kterém jsme psali v rozboru nákladů celé práce místo samotných tokenů. Levnější model nemusí znamenat levnější úkol. A agent s vyšším benchmarkovým skóre nemusí být lepší, pokud své vítězství získal tím, že obešel nástroj, který měl být součástí pracovního postupu.
Nejúspěšnější agent není vždy ten nejchytřejší
Výsledek M3 může svádět k další zkratce: OpenCode vyhrál, takže bychom měli všichni používat OpenCode. To by byla stejná chyba v opačném směru. OpenCode v tomto testu těžil z konkrétního uspořádání vestavěných schopností a testovaných serverů. Jiná sada úloh může změnit pořadí.
Smysl benchmarku je právě v tom, že tuto závislost odhaluje. Agent není průhledná trubka, která jen předá dotaz modelu a vrátí jeho odpověď. Přidává vlastní nástroje, pravidla, paměť, způsob výběru funkcí a někdy i vlastní představu o tom, co je nejrychlejší cesta.
Stejný model se tak v různých agentech chová jako stejný zaměstnanec v různě uspořádaných kancelářích. Někde má přístup ke správným složkám, jinde musí obejít půl budovy, aby zjistil, že hledaná informace leží v zásuvce vedle něj. Když pak změříme jen konečný výsledek, snadno připíšeme zásluhu nebo vinu modelu.
Ve skutečnosti měříme celý pracovní systém. Do jeho výkonu patří prompt, popis nástroje, vestavěné funkce, paměť, oprávnění, čekání na potvrzení i způsob, jakým agent reaguje na chybu. Model je důležitá součást, ale není to celý zaměstnanec.
Konec tabulek, které předstírají jednoduchý svět
Nejlepší výsledek z tohoto testu není číslo 82,0 procenta. Je to nepohodlný závěr, že výkon AI se nedá poctivě popsat jedním číslem, pokud zamlčíme pracovní prostředí. Srovnávat modely bez agentů je podobné jako srovnávat řidiče bez uvedení auta, mapy a pravidel provozu.
Pro vývojáře MCP serverů z toho plyne jasná práce: měřit nejen správnost odpovědi, ale také míru ignorování, typ alternativní cesty a rozdíl mezi agentními harnessy. Pro firmy pak ještě důležitější práce: testovat vlastní úkoly v prostředí, které skutečně používají, místo přebírání cizího žebříčku.
Model tedy není produkt. Produktem je celá cesta od zadání k ověřitelnému výsledku. A pokud se na ní agent rozhodne váš nástroj obejít, nezachrání vás ani nejlepší popis v dokumentaci, ani hezké skóre v prezentaci.
