AMD koupilo kanadský startup Taalas. Na první pohled další akvizice v nekonečném závodě o AI, kde Nvidia, AMD a několik desítek startupů nakupují všechno, co má tranzistory a zaměstnance schopné vyslovit slovo inference.
Jenže Taalas je zajímavý něčím úplně jiným.
Nechce postavit lepší GPU.
Chce se GPU v určité části AI výpočtů prakticky zbavit.
Jeho myšlenka je radikálně jednoduchá: když pořád dokola provozujeme stejný AI model, proč ho pokaždé načítat z drahé paměti do univerzálního procesoru? Proč samotný model rovnou fyzicky nezabudovat do čipu?
A přesně to Taalas dělá.
AMD nyní firmu kupuje a její technologii chce začlenit do své budoucí infrastruktury pro AI inferenci. Cena transakce zveřejněna nebyla. Taalas přitom před akvizicí získal od investorů zhruba 219 milionů dolarů.
Pokud se tento koncept podaří rozšířit na opravdu velké modely, nemusí jít pouze o další typ AI akcelerátoru.
Mohl by změnit způsob, jakým přemýšlíme o GPU, HBM pamětech, spotřebě datacenter a možná i o tom, kolik vlastně bude provozování AI stát.
Dnešní AI má jeden trochu absurdní problém
Když se dnes mluví o AI hardwaru, většina diskuse se točí kolem výpočetního výkonu.
Kolik má čip FLOPS.
Kolik Tensor Cores.
Kolik GPU nacpeme do racku.
Jenže při samotném používání velkých jazykových modelů často není největším problémem počet matematických jednotek.
Problémem je dostat k nim dostatečně rychle data.
Parametry modelu jsou uložené v paměti. Při generování odpovědi je hardware musí neustále číst a přesouvat mezi pamětí a výpočetními jednotkami.
A pohyb dat je drahý.
Drahý časově, energeticky i finančně.
Proto jsou dnešní AI akcelerátory obalené extrémně rychlou HBM pamětí, používají pokročilé pouzdření a mají datové propustnosti, které ještě před několika lety působily téměř absurdně.
Jenže to všechno stojí peníze.
A hodně.
Moderní AI inference je proto stále více problémem paměti a datových přenosů než čistého výpočetního výkonu. Stejnému tématu se dnes věnují i další výrobci a výzkum AI infrastruktury.
Taalas si tedy položil otázku:
Co kdybychom tu paměť vůbec nepotřebovali?
Model není software. Model je počítač
Taalas svoji filozofii shrnuje větou „The Model is The Computer".
V jejich architektuře nejsou váhy modelu klasicky uložené v externí HBM nebo jiné paměti, odkud by je procesor postupně četl.
Jsou fyzicky zakódované přímo do čipu.
Jejich první demonstrátor HC1 obsahuje Llama 3.1 8B přímo v křemíku.
Čip je vyráběný 6nm procesem TSMC, má přibližně 53 miliard tranzistorů a plochu 815 mm². Taalas u něj uvádí rychlost kolem 17 000 tokenů za sekundu na uživatele.
Pro člověka je taková rychlost naprosto zbytečná.
Nikdo nečte 17 000 tokenů za sekundu.
Ale o to nejde.
Pokud umíme jednu inferenci provést extrémně rychle a levně, můžeme výkon rozdělit mezi velké množství požadavků.
A tam začíná být ekonomika zajímavá.
Taalas u své první generace tvrdí přibližně desetinovou spotřebu a výrazně nižší výrobní náklady proti tradičním GPU řešením.
Firma dokonce tvrdí, že její obecný přístup může být proti klasickému softwarovému provozování modelu až řádově stovky či tisíce krát efektivnější. To je ale zatím potřeba brát jako technologický cíl a marketingové tvrzení firmy, nikoliv jako nezávisle potvrzený fakt platný pro všechny modely.
A hlavně je tady jeden obrovský háček.
Koupili jste čip. Gratuluji, právě jste si koupili jeden model
GPU je univerzální.
Dnes na něj nahrajete Llamu.
Zítra Qwen.
Pozítří něco od OpenAI nebo vlastní firemní model.
A když se objeví úplně nová architektura, máte alespoň určitou šanci, že ji půjde pomocí nového softwaru provozovat na stejném hardwaru.
Taalas tuto flexibilitu z velké části zahazuje.
Model je součástí hardwaru.
Jakmile se svět posune dál, nepřehrajete firmware a nenahrajete nový 500GB soubor.
Potřebujete nový čip.
Taalas tvrdí, že díky změně pouze několika výrobních masek dokáže převést nový AI model do křemíku přibližně během dvou měsíců. Část SRAM přitom ponechává programovatelnou například pro KV cache nebo LoRA úpravy.
Dva měsíce zní skvěle.
Dokud si nevzpomeneme, jak rychle se dnes AI vyvíjí.
Model, který byl před půl rokem považován za špičku, dnes někdy sotva někdo stáhne.
A právě tady leží největší slabina celé myšlenky.
Na Redditu se kolem Taalasu opakuje stále stejná námitka: kdo chce koupit hardware, který bude několik let provozovat pořád stejný model?
Je to legitimní otázka.
Jenže možná je položená špatně.
Ne každý potřebuje každý měsíc nový model
My technologičtí nadšenci máme trochu pokřivený pohled na AI.
Vidíme nový benchmark a okamžitě chceme nový model.
Firma provozující miliony požadavků na překlad produktových popisů to ale může vidět úplně jinak.
Pokud jí určitý osmimiliardový model dělá přesně to, co potřebuje, proč by ho měnila?
Stejně tak: zpracování dokumentů, OCR, moderování obsahu, překlady, hlasové systémy, klasifikace dat, firemní asistenti, zpracování zákaznických požadavků, průmyslové systémy, robotika, automobilový průmysl.
Tam může stejný model běžet několik let.
A pokud specializovaný čip udělá stejnou práci například za desetinu elektřiny a zlomek ceny GPU infrastruktury, najednou přestává vadit, že neumí všechno.
Lednička také neumí spustit Cyberpunk.
Přesto jsme zatím nepřišli na důvod, proč do každé montovat RTX 5090.
A právě proto to AMD potřebuje
AMD se zatím snaží útočit na Nvidii hlavně její vlastní zbraní.
GPU proti GPU.
Instinct proti Nvidia B/H řadám.
ROCm proti CUDA.
To dává smysl hlavně u trénování modelů, kde je programovatelnost naprosto zásadní.
Jenže AI trh se postupně mění.
Obrovské množství peněz se nebude utrácet pouze za trénování dalších modelů.
Budou se utrácet za jejich každodenní provoz.
Inference.
Miliony firem.
Miliardy uživatelů.
Biliony požadavků.
A inference má jiné požadavky než trénování.
AMD ostatně během posledních let neposkládalo pouze GPU portfolio. Koupilo Xilinx, ZT Systems, Silo AI a letos například firmu MEXT zaměřenou na optimalizaci paměti. Současně buduje vlastní rackovou AI infrastrukturu Helios a má velké kontrakty například s Metou a Microsoftem.
Taalas tak do celé strategie zapadá mnohem lépe, než se může na první pohled zdát.
AMD si nemusí vybírat mezi GPU a specializovanými čipy.
Může prodávat obojí.
Trénování na GPU, provoz na specializovaném křemíku
A tady se dostáváme ke scénáři, který mi připadá asi nejzajímavější.
Spekulace: AI infrastruktura by se mohla rozdělit na dvě výrazně odlišné části.
Na jedné straně budou obrovské univerzální GPU clustery.
Ty budou trénovat nové modely, experimentovat, dolaďovat je a provozovat věci, které se rychle mění.
Na druhé straně budou specializované inferenční čipy.
Jakmile model dozraje a začne obsluhovat miliardy požadavků, vznikne jeho hardwarová verze optimalizovaná na maximální výkon za minimální cenu.
V podstatě něco podobného, co se už dávno stalo v jiných částech počítačového světa.
Procesor zvládne skoro všechno.
GPU je specializovanější.
ASIC je ještě specializovanější.
A čip Taalasu celý koncept dotahuje téměř do absurdního konce: specializujeme hardware až na jeden konkrétní AI model.
To může být ekonomicky nesmyslné u modelu, který použije deset lidí.
Ale u modelu, který bude každý den obsluhovat miliardu požadavků?
Tam už matematika může vypadat úplně jinak.
Co by to znamenalo pro Nvidii?
Rozhodně bych zatím nezačal kopat hrob grafickým kartám.
GPU nikam nezmizí.
Pro trénování AI jsou extrémně důležitá právě proto, že jsou programovatelná.
Stejně tak budou důležitá pro vývoj, multimodální systémy, nové architektury, vědecké výpočty, grafiku a tisíc dalších věcí.
Ale Nvidia dnes vydělává obrovské peníze také na inferenci.
A právě tam může specializovaný hardware postupně ukusovat část trhu.
TrendForce očekává podobný dvoukolejný vývoj: univerzální GPU mají dál dominovat trénování a prostředí, kde se střídá mnoho modelů, zatímco specializované architektury mohou získávat stabilní inferenční workloady, kde je nejdůležitější cena a energetická efektivita.
Nvidia to samozřejmě ví.
Stejně jako AMD.
Proto se celý boj postupně přesouvá z otázky „Kdo vyrobí nejrychlejší GPU?" k otázce „Kdo dokáže nejlevněji vyrobit jeden milion tokenů?"
A to je mnohem nepříjemnější soutěž.
Protože tam nestačí přidat další výpočetní jednotky.
A potom je tady HBM
Možná ještě zajímavější dopad by mohl být na paměti.
HBM se stala jednou z nejkritičtějších součástí AI infrastruktury.
AMD má například pro své Instinct MI455X dohodu se Samsungem na dodávkách HBM4.
Důvod je jednoduchý.
Obrovské modely potřebují obrovskou paměťovou propustnost.
Jenže HBM je drahá, složitá na výrobu a vyžaduje komplikované pouzdření.
Pokud dokážete váhy modelu přesunout přímo do křemíku, velká část tohoto problému mizí.
Taalas u HC1 nepotřebuje HBM ani pokročilé CoWoS pouzdření.
To je možná ekonomicky ještě důležitější než samotných 17 000 tokenů za sekundu.
Protože AI průmysl dnes neřeší pouze výkon čipů.
Řeší, kolik HBM dokáže SK Hynix, Samsung a Micron vůbec vyrobit.
Pokud část inference přejde na architektury, které HBM nepotřebují, může se snížit tlak na jednu z nejdražších a nejproblematičtějších částí celého AI řetězce.
Ale opět: jde zatím o možný budoucí dopad, nikoliv o něco, co by dnes ohrožovalo HBM trh.
Frontier modely mají stovky miliard parametrů, používají Mixture-of-Experts, obrovské kontexty a rychle se mění.
Tam jednoduché „vypálíme celý model do čipu" přestává být jednoduché velmi rychle.
Co běžné grafické karty?
Tady bych byl ještě opatrnější.
Taalas dnes není technologie, která by znamenala konec GeForce nebo Radeonu.
Herní GPU potřebuje programovatelnost.
Lokální AI také.
Když mám doma grafickou kartu s 24 GB VRAM, můžu dnes provozovat jeden model, zítra jiný, generovat obrázky, video, hrát hry nebo renderovat Blender.
Specializovaný AI čip s jedním modelem je přesný opak.
Ale dokážu si představit jinou variantu.
Spekulace: časem by vedle CPU, GPU a NPU mohl vzniknout další typ spotřebitelského AI hardwaru obsahující předpřipravený základní model přímo v křemíku.
Operační systém by například mohl mít malý lokální jazykový model, který nebude potřebovat několik gigabajtů RAM nebo VRAM.
Notebook, telefon nebo auto by jednoduše obsahovaly fyzickou implementaci modelu.
Takový model by mohl neustále běžet s velmi nízkou spotřebou.
A drahé GPU by se zapínalo pouze při složitějších úlohách.
To už by mohlo změnit způsob, jakým dnes přemýšlíme o „AI PC".
Místo počítače schopného rychle spouštět AI software bychom měli počítač, jehož některé AI funkce jsou přímo jeho hardwarem.
Jenže co když za půl roku přijde úplně jiná AI?
To je největší argument proti Taalasu.
Celá technologie sází na předpoklad, že určitá část AI modelů bude dostatečně stabilní.
A vůbec není jisté, že to tak bude.
Transformery dnes dominují.
Ale nemusí dominovat za pět let.
Mění se attention mechanismy.
Mění se Mixture-of-Experts.
Mění se velikosti modelů.
Mění se numerické formáty.
Mění se práce s kontextem.
Mění se prakticky všechno.
GPU je proti tomu pojištění.
Je neefektivní, protože musí být univerzální.
Ale právě univerzálnost je jeho největší výhoda.
Taalas dělá opačnou sázku.
Vzdává se univerzálnosti výměnou za extrémní efektivitu.
Ani jedno není automaticky správně.
A těch 17 000 tokenů má ještě jeden háček
První HC1 provozuje Llama 3.1 8B s agresivní kombinací tříbitových a šestibitových vah.
Taalas samo přiznává, že to znamená určitou ztrátu kvality proti běžným GPU implementacím.
Druhá generace má používat standardnější čtyřbitové formáty.
Takže titulky typu „Nový čip je desetkrát rychlejší než Nvidia" jsou sice hezké, ale technicky dost zavádějící.
Porovnáváme velmi rozdílné systémy.
HC1 je technologický demonstrátor perfektně optimalizovaný na jediný osmimiliardový model.
Nvidia B200 je univerzální monstrum schopné provozovat prakticky cokoliv.
Je to trochu jako porovnávat formuli s nákladním autem podle toho, kdo rychleji objede okruh.
Formule vyhraje.
Ale zkuste do ní naložit paletu cementu.
Přesto si myslím, že AMD nekoupilo Taalas náhodou
Nejspíš nejzajímavější na celé akvizici není dnešní HC1.
Je to myšlenka za ním.
AI průmysl posledních několik let řešil hlavně nedostatek výpočetního výkonu.
Postavili jsme větší GPU.
Přidali HBM.
Propojili stovky GPU.
Potom tisíce.
Postavili megawattová datacentra.
A když to nestačilo, začali jsme plánovat gigawattová.
Možná ale není jediným řešením vyrábět stále větší kladivo.
Možná část AI vůbec nepotřebuje univerzální superpočítač.
Pokud bude několik velmi dobrých modelů používáno miliardami lidí a firem, může dávat smysl udělat něco, co bylo ještě před pár lety ekonomicky absurdní: vyrobit počítač určený prakticky jen pro jeden model.
GPU tím nezmizí.
HBM tím nezmizí.
Nvidia tím zítra nepřijde o svůj byznys.
Ale část trhu se může začít přesouvat jinam.
A to je podle mě skutečný důvod, proč je akvizice Taalasu zajímavá.
AMD nekupuje rychlejší grafickou kartu.
Kupuje si možnost, že za několik let nebude pro největší část AI inference grafická karta vůbec tím nejlepším řešením.
A pokud se tahle sázka povede, největší změnou nebude 17 000 tokenů za sekundu.
Bude jí něco mnohem důležitějšího: AI přestane být problémem toho, kolik drahých GPU dokážeme nacpat do datacentra, a začne být problémem toho, jak levně dokážeme konkrétní inteligenci převést přímo do křemíku.
