Když jazykový model řeší matematickou úlohu, na obrazovce vidíme řetězec vět a rovnic. Uvnitř se ale neodehrává příběh v lidském smyslu. Síť pracuje s číselnými reprezentacemi, které se v průběhu výpočtu mění. Nový výzkum KAIST a Naver AI Lab naznačuje, že v těchto změnách lze rozlišit, zda model právě získává údaje, rozkládá problém, vybavuje si vzorec, dedukuje nebo počítá.
Rychlá zpráva o studii proto stojí za delší rozbor. Ne proto, že by vědci otevřeli hlavu modelu a našli v ní hotové lidské myšlenky. Zajímavější je skromnější, ale praktičtější zjištění: různé druhy práce mohou v aktivacích modelu zanechávat odlišný podpis. Podrobnější popis metodiky a výsledků přinesl také The Decoder.
Černá skříň dostala mapu, ne průhledné stěny
Označení černá skříň se u AI používá pro situaci, kdy známe vstup a výstup, ale jen obtížně vysvětlíme, co se stalo mezi nimi. U moderních jazykových modelů je tato mezera obzvlášť velká. Odpověď vzniká v mnoha vrstvách a v každé z nich se informace promíchávají do vektorů, které samy o sobě nevypadají jako věta typu teď hledám vzorec.
Studie tuto mezeru neodstraňuje. Ukazuje ale, že interní reprezentace nemusí být beztvarý šum. Pokud se určitý typ aktivace opakovaně pojí s výpočtem a jiný s dedukcí, lze model alespoň částečně sledovat podle toho, co uvnitř dělá. Je to mapa provozu, nikoli doslovný přepis myšlenek.
V odborné debatě se pro schopnost řešit úlohy po jednotlivých krocích často používá slovo reasoning. To ovšem neznamená, že model uvažuje stejně jako člověk. Jde o označení určitého chování při generování odpovědi: model průběžně vytváří mezikroky, vrací se k zadání, kombinuje informace a snaží se dojít k výsledku.
Jak vědci hledali rozdíly uvnitř modelu
Výzkumníci nechali několik jazykových modelů řešit matematické úlohy a jejich postup rozdělili na menší úseky. Každému úseku přiřadili jeden z osmi typů operací. Patřilo mezi ně získání údajů, rozklad problému, vybavení vzorce, dedukce a výpočet; celý seznam měl zachytit opakující se role, které se v řešeních objevují.
Test se týkal modelů Qwen2.5-7B, Qwen3-8B a Gemma4-31B. Pro jednotlivé úseky potom vznikly klasifikátory, které se nesoustředily jen na text, ale na číselné stavy modelu v různých vrstvách. Označení úseků podle jejich role pomáhal připravit GPT-5, což je důležitá metodická informace: část experimentu tedy stojí na lidsky navržených kategoriích a automatickém popisu dat, nikoli na přímém čtení nějakého vnitřního slovníku modelu.
Výsledek byl v hlavním bodě konzistentní napříč třemi testovanými modely. Jednotlivé operace se daly v interních reprezentacích rozlišit a nejsilnější signál se objevoval ve středních vrstvách. Na začátku zpracování jsou reprezentace více spojené s podobou vstupních tokenů, zatímco později už se do nich promítá celá řada dalších funkcí. Střední část sítě v tomto experimentu nabízela nejčistší rozdíly mezi typy kroků.
Vědci zároveň kontrolovali, zda výsledek nevzniká jen kvůli slovům, která model používá. Klasifikátor pracující pouze s tokeny byl horší než klasifikátor využívající interní reprezentace. Samotná pozice úseku v řešení také nevysvětlovala celý efekt. To posiluje interpretaci, že model v aktivacích nese informaci o druhu prováděné operace, nejen o tom, zda se nachází na začátku nebo na konci odpovědi.
Stejné slovo může uvnitř znamenat jinou práci
Nejzajímavější část experimentu se týká slov, která sama o sobě nic zvláštního neprozrazují. Výrazy jako a, je nebo the se mohou objevit při dedukci stejně jako při výpočtu. Přesto jejich reprezentace ve středních a pozdějších vrstvách podle popisu studie souvisela s okolním typem operace. Stejné slovo tak může být uvnitř modelu zpracováno jinak podle toho, jakou roli hraje v právě probíhajícím řešení.
To je podstatný rozdíl proti jednoduchému hledání klíčových slov. Člověk by mohl z textu odhadnout, že po slově protože následuje vysvětlení nebo po znaku rovná se výpočet. Model ale pracuje s kontextem v mnohem bohatší podobě. Výzkum naznačuje, že typ kroku není uložený jen v konkrétním slovníku, ale v kombinaci okolního kontextu a vnitřního stavu sítě.
Výzkumníci zkusili také cílený zásah do kontextu. Když zablokovali pozornost k předchozím třiceti tokenům, signál spojený s danou operací zeslábl. Neznamená to, že byl nalezen jediný spínač pro dedukci nebo výpočet. Ukazuje to ale, že rozpoznávaný krok se formuje v návaznosti na předchozí průběh, nikoli zcela izolovaně.
Chybný výpočet vypadá pořád jako výpočet
Studie přináší i výsledek, který je pro bezpečnost modelů možná důležitější než samotné rozlišení operací. Typ kroku zůstal identifikovatelný také u chybných řešení. Když model udělal chybu ve výpočtu, jeho interní stav stále vypadal jako stav spojený s počítáním, ne jako úplně jiný druh činnosti.
To má dvojí význam. Na jedné straně to naznačuje, že monitoring by jednou mohl upozornit na místo, kde model přešel od správně použitých údajů k chybnému výpočtu. Na druhé straně samotné rozpoznání typu operace chybu neodhalí. Klasifikátor může spolehlivě říct tady probíhá výpočet a přitom nedokázat říct, zda je výsledek správný.
Tento rozdíl se v debatě o vysvětlitelné AI snadno ztratí. Vysvětlení, které správně pojmenuje fázi postupu, ještě není důkazem, že model použil správná data, zvolil platný vzorec nebo provedl bezchybnou aritmetiku. Mapa interního procesu může být užitečná i tehdy, když nefunguje jako automatický rozhodčí.
Od matematiky k dohledu nad modely vede dlouhá cesta
Dodatečné testy podle popisu výzkumu ukázaly, že se rozlišitelnost operací opakovala také u modelu Llama-3-8B. Klasifikátory natrénované pro Qwen3-8B navíc fungovaly při přenosu na úlohách GPQA-Diamond a MATH-500. Takový přenos je zajímavý, protože naznačuje, že signál nemusí být omezený na jedinou sadu matematických příkladů.
Pořád však není jasné, jak daleko se dá tento výsledek zobecnit. Testované modely tvoří malý výsek současných systémů a matematické úlohy mají proti běžné konverzaci velmi specifickou strukturu. V nich lze přirozeně očekávat fáze jako dosazení do vzorce nebo výpočet. U právní argumentace, plánování úkolu nebo práce s obrazem nemusí existovat stejně čisté kategorie.
Možné využití se přesto nabízí. Interní klasifikátor by mohl pomoci hledat místa, kde se model začne opírat o chybný předpoklad, rozhodnout, kdy má smysl přidat další výpočetní kroky, nebo označit odpověď k lidské kontrole. To jsou zatím směry dalšího výzkumu, ne funkce, kterou by tato studie hotově dodávala do produkčních systémů.
Podobný problém řeší také výzkum skrytých reasoning traces. Starší práce popsaná na Radyz ukazovala, že z některých modelů lze nepřímo získat informace o jejich postupu. Nová studie se vydává jiným směrem: nesnaží se rekonstruovat celé věty, ale rozlišit funkční typy práce v číselných stavech sítě.
Viditelný řetězec myšlenek není celý výpočet
U modelů s delším postupem se často mluví o Chain-of-Thought, tedy o textovém řetězci mezikroků. Ten může být užitečný pro kontrolu, ale není bezpečné zaměňovat ho za kompletní záznam toho, co se uvnitř stalo. Model může některé kroky přeskočit, popsat je nepřesně nebo vytvořit přesvědčivý text až poté, co už se rozhodl pro výsledek.
Výzkum KAIST a Naver AI Lab ukazuje další vrstvu mezi textem a výsledkem. Vnitřní stavy mohou obsahovat rozlišitelnou informaci o tom, co model právě provádí, i když tento rozdíl není z textu přímo patrný. To neznamená, že interní reprezentace jsou automaticky pravdivější než odpověď. Znamená to, že dohled nemusí být omezený na čtení slov, která model poslal uživateli.
Pro AI Safety je důležité hlavně to, co z výsledku neplyne. Studie neukazuje, že lze jednoduše přečíst všechny myšlenky modelu, předpovědět každou chybu nebo bezpečně řídit síť podle několika směrů ve vektorovém prostoru. Ukazuje pouze, že některé funkční rozdíly jsou v interních reprezentacích měřitelné a opakovatelné za testovaných podmínek.
Proč z modelu stále není otevřená kniha
Klasifikátor, který rozliší výpočet od dedukce, je užitečný nástroj, ale není to vysvětlení v plném lidském smyslu. Může zachytit korelát určitého kroku, aniž by odhalil, proč model k výsledku dospěl. Stejně jako teplota procesoru prozradí, že počítač pracuje, ale neřekne, zda právě upravuje fotografii nebo počítá špatný vzorec.
Metodická opatrnost je nutná také proto, že štítky operací nevznikají přímo v modelu. Výzkumníci musí rozhodnout, jak rozdělit řešení na úseky, jak úsek pojmenovat a jak ověřit, že klasifikátor opravdu zachytil požadovaný jev. Automatické označení pomocí dalšího modelu může práci urychlit, ale zároveň do měření přidává další zdroj nejistoty.
Nejdůležitější omezení je proto jednoduché: zatím jde o matematiku a omezený počet modelů. Nevíme, zda stejné směry zůstanou stabilní při jiné architektuře, jiném jazyce, delším kontextu nebo úloze, v níž není správný postup tak snadno rozdělitelný. Nevíme ani, zda by zásah do těchto reprezentací model skutečně navedl ke správnému chování, nebo jen změnil jeho povrchový výstup.
Černá skříň se neztratila. Jen do ní vede první mapa
Výsledek KAIST a Naver AI Lab proto není důkazem, že jsme pochopili uvažování jazykových modelů. Je to důkaz, že uvnitř lze za určitých podmínek najít pravidelné rozdíly mezi různými typy práce. To je méně efektní než tvrzení o přečtení myšlenek, ale pro další výzkum mnohem cennější.
Pokud se podobné metody podaří rozšířit mimo matematiku, může se změnit způsob, jakým modely testujeme. Místo kontroly pouze vstupu a hotové odpovědi bychom mohli sledovat, zda model přišel k závěru přes očekávaný typ postupu, kde se objevila nejistota a jestli se jeho vnitřní stav začal vzdalovat od toho, co tvrdí navenek.
Taková kontrola ale nenahradí ověřování výsledků ani lidskou odpovědnost. Chybný výpočet může vypadat jako správný výpočet a přesvědčivý text může zakrýt špatný předpoklad. Skutečný průlom proto nebude spočívat v tom, že model dostane další nálepku, ale v tom, zda dokážeme měřitelné interní signály spojit s důkazem, opravou chyby a bezpečným rozhodnutím.
Kdo dnes říká, že jazykový model je úplná černá skříň, má už o něco méně pohodlnou pozici. Kdo naopak tvrdí, že několik rozpoznaných vzorců znamená plné pochopení AI, jde příliš daleko. Pravda je zatím uprostřed: dveře se pootevřely, ale dovnitř stále vidíme jen podle několika měřicích přístrojů.
