Vývojář dostane drahého AI pomocníka a hned k němu návod, aby s ním pokud možno šetřil. Na složité problémy ano, na drobnosti raději ne. Přesně takhle se z nástroje, který má lidem uvolnit ruce, stává další firemní rozpočet ke sledování.
Revolut zvolil jinou cestu. Model pro programování provozuje na vyhrazených grafických akcelerátorech a podle svého zástupce tím srazil účet za inferenci proti dřívějším komerčním službám přibližně na desetinu. Jak jsme uvedli v Rychlé zprávě o nasazení GLM, firma zároveň hlásí kratší dobu vývoje. To je zajímavá zpráva, ale není to univerzální recept ani důkaz, že každá firma má nakoupit hromadu GPU.
Drahý pomocník, kterého se bojíte použít
David Abitbol z Revolutu na konferenci AI Engineer v New Yorku popsal, že firma po zavedení nástrojů Claude Code narážela na vysoké výdaje a zavedla přísné limity. Programátoři tak měli důvod schovávat si dostupné tokeny na těžší úlohy místo toho, aby AI zapojili i do běžné práce.
Podle záznamu a přepisu přednášky pak Revolut začal provozovat modely řady GLM. Z GLM-5.1 přešel na GLM-5.3, pro který podle Abitbola používá přibližně 56 akcelerátorů Nvidia B200 a obsluhuje zhruba dva tisíce inženýrů. GLM přitom není model, který by Revolut sám vyvinul; firma provozuje model jiného výrobce.
Abitbol uvedl průměrnou cenu 30 centů za milion tokenů a účet přibližně ve výši desetiny dřívějších výdajů na Anthropic a OpenAI. Je to firemní srovnání účtů, nikoli veřejný audit celkových nákladů. Z přednášky neplyne dost podkladů k tomu, abychom stejný poměr připsali každé firmě nebo tvrdili, že zahrnuje veškerou práci spojenou s provozem.
Důležitý je i druhý konec rovnice: když se za další použití neplatí stejným způsobem jako za externí službu, změní se chování lidí. Pomocník může dostat dokumentaci, chybovou hlášku nebo kontext úkolu, aniž by se vývojář pokaždé ptal, jestli tím nepálí rozpočet. Levnější provoz tak nemusí znamenat jen stejnou práci za méně peněz. Může otevřít úlohy, u kterých se dříve nevyplatilo asistenta vůbec spouštět.
Rychlejší vývoj není totéž jako desetkrát levnější firma
Revolut prezentoval u sledovaného vzorku přibližně dvou tisíc inženýrů zlepšení doby programování o 60 procent a průběžné doby dodání o 70 procent. Druhou metriku Abitbol popisuje jako čas od převzetí úkolu po sloučení změny připravené k nasazení. Čísla pocházejí z firemní prezentace a nejsou nezávislým experimentem, který by izoloval samotný vliv GLM od dalších změn v práci týmu.
Právě toto rozlišení je podstatné. Ušetřený čas může firma využít na další práci, ale automaticky se nepromění v nižší mzdové náklady ani ve vyšší tržby. A změna připravená k nasazení ještě není zákaznický přínos: pořád záleží na tom, co se postavilo, zda to funguje a kolik oprav přijde později.
Přesto se z firemního příběhu dá vzít dobrá otázka: kde se práce opravdu zadrhává? Podle Abitbola neleží všechny prodlevy v samotném psaní kódu. Část mizí v dohledávání informací a práci kolem úkolů. Pokud se člověk rychleji dostane ke správnému kontextu, může mu nástroj pomoci i bez toho, aby za něj napsal celou aplikaci.
Šestapadesát GPU není tlačítko na úsporu
Vlastní provoz modelu vyžaduje lidi, kteří rozumějí kapacitě, odezvě a provozním špičkám. Abitbol popisoval ladění délky kontextu, kvantizace a práce s mezipamětí. Tvrdil, že se podařilo zvýšit obslouženou poptávku při stejném počtu GPU; technické možnosti a výsledek ovšem závisejí na konkrétním zatížení.
Dlouhý kontext například zní jako vlastnost, kterou je vždy dobré mít nastavenou na maximum. Jenže uchovávání velkého množství textu také spotřebovává paměť a kapacitu. Menší rozumně nastavený kontext může u určitého typu práce pomoci odezvě; u jiné úlohy zase může odříznout informace, které model potřebuje. Správné nastavení se musí měřit na skutečné práci, nikoli odvodit z reklamního maxima.
To samé platí pro kvantizaci, tedy zjednodušené uložení čísel používaných modelem. Může snížit nároky na hardware, ale její dopad na kvalitu je nutné ověřit na vlastních úlohách. Tvrzení z jedné prezentace nestačí jako záruka, že všechny změny proběhnou bez ztráty přesnosti.
Malému týmu se proto klidně vyplatí zůstat u externí služby, i kdyby měl vyšší cenu za jednotku výkonu. Kupuje si také dostupnost, správu infrastruktury a čas lidí, kteří mohou dělat něco jiného. Teprve při dostatečné a předvídatelné poptávce začíná dávat větší smysl porovnávat ji s vlastním provozem včetně nevyužité kapacity, podpory a řešení výpadků.
Vlastní provoz neznamená vlastní trezor
Revolut podle Abitbola stahuje váhy modelu a provozuje je na infrastruktuře, kterou si sám vybere, místo aby automaticky posílal požadavky na službu výrobce modelu. To je důležitý rozdíl v datové cestě. Neznamená však automaticky, že zpracování probíhá na počítačích v kanceláři ani že odpadá potřeba prověřit poskytovatele infrastruktury, přístupy a smluvní podmínky.
Vlastní nasazení modelu není totéž jako vlastní datacentrum: podstatné je také to, kdo poskytuje výpočetní infrastrukturu. Firma navíc nevyhodila všechny ostatní modely. Komerční špičkové služby ponechává pro výjimky a přednáška zmiňuje také směrování úloh s obrázky jinam. Při posuzování soukromí je proto důležité sledovat konkrétní požadavek a všechny služby, kterými projde, ne jen název výchozího modelu.
Podobně je třeba pracovat s oprávněními agentů. Schválení nebezpečných operací člověkem a omezené prostředí dávají smysl, ale nejsou náhradou za kontrolu toho, ke kterým souborům či účtům se nástroj dostane a jaké změny skutečně provedl. Samotný levnější výpočet nevyřeší chybný kód ani příliš široká oprávnění.
Skutečná cena je až cena dokončené práce
Revolut neukázal, že otevřené váhy vždy porazí placené modely. Ukázal něco praktičtějšího: u velké a soustředěné zátěže se vyplatí podívat na AI jako na provozní infrastrukturu, ne pouze na cenu předplatného za hlavu. A zároveň přiznal, že různé úlohy mohou dál potřebovat různé modely.
Dobré srovnání proto nekončí u ceny milionu tokenů. Počítá s čekáním, opravami, kontrolou výsledků, správou a bezpečností. Model, který je levnější na vstupu, ale vyžaduje více pokusů nebo přehlédne chybu, může být na konci dražší. Nejlepší účet za AI není ten nejmenší v tabulce; je to ten, který odpovídá užitečné a spolehlivě dokončené práci.
