Největší plýtvání v dnešních AI coding agentech často nevzniká při přemýšlení. Vzniká při čtení pěti souborů kvůli jedné metodě, generování testu podle stejného vzoru jako u dvaceti sousedních souborů nebo při aktualizaci dokumentace po poradě. Na takovou práci pak uživatel pošle nejdražší model, který má k dispozici, a diví se, kam zmizel rozpočet na tokeny.
Spotify teď popsalo postup, který podle jeho vlastního měření snížil spotřebu tokenů v Claude Code přibližně o 90 procent. Nejde o nový zázračný model ani o trik s promptem. Firma jednoduše přestala posílat každou rutinní operaci stejnému drahému modelu a rozdělila práci podle toho, kolik skutečného uvažování vyžaduje.
Ne každý úkol potřebuje frontier model
Princip je až nepříjemně prostý. Claude Code zůstane hlavním agentem pro rozhodování, složitější práci a situace, ve kterých je potřeba chápat širší kontext. Čtení velkého množství souborů nebo tvorbu předvídatelného kódu ale převezme levnější worker model. Ten dostane přesně vymezený úkol, zpracuje ho mimo hlavní kontext a vrátí jen výsledek.
Spotify popisuje tento přístup v původním článku na Spotify Engineering. Autor Dimitri Mazmanov tam upozorňuje, že drahé nejsou jen licence k nástroji. Náklady rychle rostou hlavně ve chvíli, kdy frontier model spotřebovává tokeny na práci, která žádné skutečné rozhodování nevyžaduje.
To je důležitý rozdíl. Levnější model nemusí být stejně dobrý jako hlavní model ve všem. Stačí, když je dost dobrý na jednu konkrétní činnost a dostane jasné instrukce. AI agent pak nemusí být jeden univerzální génius. Může fungovat spíš jako malý tým, kde každý člen dělá jen to, co umí rozumně levně.
Dvě modes místo nové platformy
Spotify tento systém postavilo na AiKA Modes v Portalu. Mode je deklarativně popsaný agent běžící v dočasném prostředí. Nastaví se mu instrukce, model, parametry a případné MCP nástroje. Podle oficiální dokumentace AiKA Modes pak může být sdílený v rámci firmy nebo ponechaný jako privátní konfigurace.
Pro ukázku Spotify vytvořilo dvě modes. První se jmenuje bulk-reader a slouží ke čtení většího množství zdrojových souborů. Worker má odpovědět stručně, strukturovaně a bez zbytečné prózy. Druhá mode, code-writer, generuje předvídatelný kód, například testy, konfigurační šablony nebo typové definice podle specifikace a referenčního souboru.
V příkladech Spotify používá Gemini 2.5 Flash jako worker model. Podstatné ale není konkrétní jméno modelu. Podstatné je, že model lze v režimu vyměnit, aniž by se musel přepisovat celý systém routování. Když se objeví levnější nebo vhodnější model, změní se konfigurace workeru, ne celý pracovní postup.
Shunt hlídá, kdy má Claude ustoupit
Samotné modes by ale nestačily. Někdo musí rozhodnout, kdy je má Claude Code použít. Spotify proto vytvořilo plugin shunt, který routování vynucuje pomocí hooků. Před každým voláním nástroje může zkontrolovat, co se Claude chystá udělat, a velký rutinní požadavek přesměrovat na levnějšího workera.
Plugin například zachytí pokus o čtení souboru delšího než nastavený počet řádků. Výchozí hranice je 350 řádků. Cílené čtení konkrétní části souboru nechá projít, protože v takové chvíli už Claude pravděpodobně ví, co hledá. Podobně kontroluje příkazy jako cat, head, tail, less a more. Hranici lze upravit proměnnou SHUNT_MIN_LINES.
Výsledek je zajímavý hlavně tím, že Claude nemusí vidět celý materiál, který worker zpracoval. Skript bulk-read pošle soubory levnějšímu modelu, získá shrnutí a do kontextu hlavního agenta vrátí jen strukturovanou odpověď. U generování kódu může skript code-write výstup zapsat rovnou na disk. Claude tak neplatí tokeny za čtení referenčních souborů ani za přenos každého řádku vygenerovaného kódu zpět do kontextu.
Devadesát procent není univerzální sleva
Na benchmarku nad Javovým monorepem uvádí Spotify u scénáře bulk-read průměrnou úsporu kolem 90 procent tokenů. To je působivé číslo, ale je potřeba číst ho přesně. Jde o měření konkrétního workflow, konkrétního repozitáře a konkrétního nastavení. Neznamená to, že každý tým automaticky zlevní používání Claude Code o devadesát procent.
U scénáře code-write se úspora měří hůř. Bez delegace totiž Claude nejen čte referenční soubory, ale také sám generuje výstup. S delegací kód vznikne mimo jeho kontext a může být zapsán přímo na disk. Náklad se tedy nesnižuje jen kratší odpovědí, ale tím, že se část práce vůbec nevrací do drahého hlavního modelu.
Podobná logika stojí i za tím, proč nemá smysl hnát každý úkol k nejlepšímu modelu. Jak ukazuje i dřívější srovnání modelů na Radyz.cz, nejlepší model nemusí být současně nejlevnější ani nejpraktičtější. Rozhodující je, jestli jeho schopnosti odpovídají konkrétní práci.
Kde se úspora rozbije
Spotify samo uvádí několik hranic. Worker není spolehlivá náhrada za hlavního agenta při debugování, architektonických rozhodnutích nebo bezpečnostně kritickém kódu. V testování přehlédl subtilní problém s bezpečností vláken, který Claude odhalil až ve chvíli, kdy dostal správný kontext. Levnější model může dobře shrnout povrchové vzory, ale nemusí pochopit důsledek výjimky, závodního stavu nebo neviditelné závislosti.
Dalším problémem je latence. Každá delegace znamená cestu z Claude Code přes Portal k workeru a zpět. Spotify uvádí typicky deset až třicet sekund a limit třiceti sekund na jedno volání. U velkého čtení je to přijatelná cena. U malého souboru může být čekání delší než práce, kterou měl worker ušetřit.
Routování proto není automatická licence k tomu, aby hlavní model přestal číst kód. Cílené čtení musí zůstat možné. Stejně jako u bezpečnosti agentů obecně platí, že delegace snižuje náklady na rutinu, ale nepřenáší odpovědnost za rozhodnutí. Příběhy o tom, jak AI agenti zvládli ransomware v řádu hodin, jsou připomínkou, že rychlost a levnost nejsou totéž co bezpečnost.
AI agent jako dispečer, ne jako osamělý génius
Nejzajímavější na řešení Spotify nakonec není samotná úspora tokenů. Je to změna pohledu na AI coding agenta. Místo jediného modelu, který se snaží dělat úplně všechno, vzniká dispečer, který rozhoduje, koho na danou práci poslat.
AiKA Modes oddělují rozhodnutí o routování od samotného workeru. Plugin může rozhodovat, kdy delegovat, zatímco mode určuje, jak má levnější model odpovědět. Díky tomu lze worker vyměnit, upravit jeho instrukce nebo mu přidat nástroj bez přepisování celého pluginu. To je podstatně praktičtější než další nekonečný seznam pravidel v souboru CLAUDE.md.
Spotify uvádí, že veřejné modes lze nainstalovat z repozitáře spotify/portal-ai-plugins. Instalace pluginů ale není celý příběh. Tým si musí určit, co je ještě bezpečná rutina, co už vyžaduje lidský dohled a kde je případná úspora tokenů méně důležitá než rychlá a přesná odpověď.
Budoucnost agentního programování tak možná nebude stát jen na tom, který model má nejvyšší skóre v benchmarku. Stejně důležité bude, jestli umí systém správně rozhodnout, kdy nejsilnější model vůbec nepotřebuje pracovat. A pokud to dokáže bez ztráty kontroly, devadesát procent ušetřených tokenů nebude trik. Bude to jen účetní důsledek toho, že drahý specialista konečně přestal dělat práci levného brigádníka.
