Představme si průvodce, který správně ukáže na oceán, pozná velký park a potom vás pošle přes dům, protože si spletl budovu s ulicí. Na pohled zná město. Pro člověka, který potřebuje někam dojít, je ovšem jeho znalost dost nepraktická. Právě tenhle rozdíl zachycuje nový experiment týmu VOYGR: jazykové modely mají o San Franciscu překvapivě použitelnou hrubou představu, ale při pohledu na jednotlivé ulice se jim město rozpadá.
Výsledek má širší význam než otázku, který chatbot nejlépe nakreslí Kalifornii. Ukazuje, jak snadno si můžeme splést znalost obrysů problému se znalostí konkrétního případu. A také proč dobré průměrné skóre není dostatečná odpověď člověku, který potřebuje vědět, co přesně leží na jedné adrese.
Na Radyzu jsme experiment představili v rychlé zprávě o mapové paměti AI. VOYGR zveřejnil 19. října 2026 repozitář s metodikou, výsledky a kódem; vydání obsahuje také odpovědi a referenční podklady. Je to otevřeně popsaný autorský experiment, nikoli nezávislá certifikace navigace. Jeho síla je v tom, že vedle hezkých obrázků ukazuje i místa, kde odpovědi přestávají fungovat.
Šestaosmdesát procent čeho?
V primárním popisu experimentu tým vysvětluje jednoduché zadání. Model dostal zeměpisné souřadnice a měl určit, zda na místě leží voda, park, budova, ulice, nebo něco jiného. Neměl používat mapy ani internet. Šest konverzačních modelů dostávalo obvykle stovku náhodně seřazených bodů v jedné žádosti; další dvě rozhodovací služby tým zkoušel po jednotlivých bodech.
Autoři požadovali strukturovaný výstup s očíslovanými odpověďmi, ne volnou kresbu města. To je podstatný detail: barevná mapa vznikla až z jednotlivých klasifikací. Nešlo tedy o obrázkový generátor, který by dostal pokyn namalovat San Francisco, ani o asistenta hledajícího spojení ve skutečné mapové službě.
Celkem test zahrnul 41 526 bodů ve třech různě podrobných výřezech. Referencí byla data OpenStreetMap stažená 18. října. Nejhrubší mapa sledovala celé San Francisco v rozestupech 100 metrů. Při vyhodnocení ale sloučila budovy, ulice a ostatní plochy do jedné skupiny: model tak potřeboval rozlišit pouze vodu, park a zbytek.
V této úloze nejlepší výsledky dosáhly přibližně 86 procent správných odpovědí. Samotné číslo zní téměř jako hotová mapa. Jenže podle autorů by odpovídání „ani voda, ani park“ úplně všude získalo zhruba 61 procent. Dobré rozpoznání velkých ploch je skutečná schopnost, nikoli však důkaz, že model ví, kudy vede chodník před konkrétním domem.
Proto tým vedle podílu správných bodů počítá i průměrnou míru překryvu jednotlivých tříd, označovanou mIoU. Zjednodušeně řečeno kontroluje, zda model například označil park tam, kde park skutečně je, a kolik parku si naopak přidal jinam. Tato metrika omezuje výhodu, kterou prostému procentu správných odpovědí poskytuje nejrozšířenější typ plochy. Ani ona ale nenahrazuje kontrolu konkrétního místa.
Pobřeží drží. Mezi domy začíná problém
Na podrobnější mapě oblasti Marina, Crissy Field a Palace of Fine Arts už byly body deset metrů od sebe a hodnotilo se všech pět tříd. U konverzačních modelů se podíl správných odpovědí pohyboval přibližně od 36 do 49 procent. To není prostý propad ve stejné zkoušce: změnilo se území, hustota bodů i počet rozlišovaných kategorií. Právě tato náročnější úloha ale odkryla detail, který hrubá mapa schovala.
Model mohl správně umístit známou lagunu nebo velký park a současně ztratit uliční síť. Jeden z testovaných systémů podle autorů označil za ulici jen tři procenta této oblasti, zatímco v referenčních datech šlo o 21 procent. Přesto měl mezi konverzačními modely nejvyšší podíl správně určených bodů. Vyhrát v celkovém procentu a selhat právě na ulicích se zjevně nevylučuje.
VOYGR proto přidal ještě malý výřez o rozměrech 500 × 500 metrů a porovnal střední a vysokou úroveň uvažování. Nejlepší dosažené skóre překryvu ulic bylo 0,32; náhodné promíchání stejného souboru odpovědí v tomto případě dosahovalo 0,23. První číslo neznamená 32 procent správných navigačních tras. Jde o jinou metriku, která porovnává množinu bodů označených jako ulice s referenční mapou.
Vyšší úroveň uvažování zlepšila uliční skóre odpovídajících modelů jen mírně, zatímco zpracování zdražilo. Jeden z modelů navíc při vysokém uvažování nechal bez odpovědi 23 z 25 žádostí v tomto výřezu. Autoři popisují vyčerpání výstupního limitu; není to totéž jako věcně chybná odpověď, ale pro službu čekající na výsledek je chybějící odpověď také problém.
Z toho neplyne, že delší uvažování obecně nemá cenu. Plyne z toho něco užšího a pro praxi užitečnějšího: v tomto uspořádání nekoupilo spolehlivou znalost uliční sítě. Pokud systému chybí přesný podklad, rozpočet na další přemýšlení není automatickou náhradou za jeho získání.
Stejné skóre, jiná chyba na vaší adrese
Nejzajímavější část experimentu podle nás není vítěz tabulky. Je to opakování zkoušky. Autoři nechali dva modely znovu odpovědět na otázky nad celým městem. Po sloučení do tří širokých tříd změnily zařazení přibližně 11 až 12 procent bodů. Celková úspěšnost se přitom posunula o méně než půl procentního bodu.
Na úrovni žebříčku se tedy skoro nic nestalo. Na úrovni jednotlivých souřadnic se změnilo dost. Když souhrnná přesnost zůstává stejná, ještě to neznamená, že stejný člověk dostane stejně správnou odpověď i podruhé. Průměr může držet, zatímco se chyby stěhují mezi případy.
Tohle je dobrá připomínka pro firmy, které asistenta hodnotí jednou velkou známkou. Představme si cestovní službu, kde AI navrhuje program pobytu. Pro hrubý výběr čtvrti může být obecná znalost užitečná. Pro potvrzení konkrétního vstupu, pěšího průchodu nebo bezbariérové cesty už potřebujeme podklad odpovídající přesnosti otázky. Není rozumné vydávat první schopnost za druhou jen proto, že obě odpovědi přijdou ze stejného chatu.
Podobnou hranici jsme popsali u TerrainSR a věrohodně doplněného terénu. Tam model vytváří nový detail do výškové mapy; zde modely přiřazují typ plochy souřadnicím z vlastní znalosti. Jsou to odlišné úlohy. Spojuje je ale riziko, že plynulý nebo přesvědčivý výstup dostane větší autoritu, než jakou dovoluje jeho vztah ke skutečnosti.
Znalost světa není městský katastr
Bylo by pohodlné uzavřít příběh větou, že jazykové modely vůbec nerozumějí prostoru. Ani to však dostupné podklady neříkají. VOYGR navazuje na práci Wese Gurneeho a Maxe Tegmarka Language Models Represent Space and Time, poprvé zveřejněnou v roce 2023. Její autoři v modelech rodiny Llama 2 nalezli reprezentace prostorových a časových souřadnic napříč několika datovými soubory.
Tato starší práce zkoumala vnitřní reprezentace modelů, nikoli přesnost nynějších odpovědí o ulicích San Francisca. Naznačuje, proč může mít smysl uvažovat o tom, zda si model vytváří světový model. Nepotvrzuje ale, že z takové reprezentace dostaneme spolehlivou mapu libovolného městského bloku. Mezi obecným uspořádáním znalostí a použitelným detailem zůstává velký kus práce.
Také samotný experiment VOYGR má jasné hranice. Testuje jedno město, konkrétní formulaci zadání a vybrané výřezy. OpenStreetMap je zde referencí, nikoli neomylnou skutečností; autoři popisují například toleranci vzdálenosti bodu od osy komunikace. Jde navíc o tým, který sám staví rozhraní poskytující agentům informace o místech. Výsledky jsou jeho měřením, které jsme nezávisle nezopakovali, a dobře zapadají i do zaměření jeho služby.
Ocenění si přesto zaslouží zveřejněné podklady a přiznané provozní potíže. Rozumná debata o AI se má vést nad konkrétními otázkami a chybami, ne nad dojmem z jedné povedené ukázky. Zde lze alespoň vidět zadání, způsob hodnocení a omezení, místo abychom dostali pouze reklamní mapu bez legendy.
Naše praktické doporučení je prosté: při ověřování mapového asistenta oddělit hrubou orientaci od přesnosti konkrétních míst, sledovat i neodpovězené žádosti a zopakovat část stejných dotazů. A tam, kde odpověď rozhoduje o skutečné cestě, vyžadovat dohledatelný mapový podklad. To je doporučení pro návrh služby, nikoli metodika, jejíž účinnost tento experiment změřil.
AI, která bez mapy rozpozná obrys San Francisca, umí něco zajímavého. AI, která při neznalosti konkrétní ulice otevře správný zdroj a nepředstírá jistotu, může být užitečná. Za druhou schopnost má smysl platit. Za sebevědomého turistu, který nás nechá projít zdí, podstatně méně.
