Google zpřístupnil TorchTPU jako open-source software pro spouštění úloh PyTorche na svých akcelerátorech TPU. Systém vyvíjel společně s týmem PyTorche v Metě a slibuje práci se známými rozhraními při minimálních úpravách existujícího kódu. Podporuje průběžné ladění i optimalizaci pomocí torch.compile, aby vývojáři nemuseli kvůli změně hardwaru opouštět běžný pracovní postup.

Oznámení zahrnuje napojení na nástroje pro trénování i provoz modelů, například vLLM, SGLang, Ray a knihovny Hugging Face. Google současně představil další integrace pro distribuovanou inferenci a správu výpočetních úloh. Pro týmy využívající PyTorch jde především o rozšíření volby hardwaru. Samotná dostupnost rozhraní však nezaručuje stejný výkon nebo cenu u každého modelu a nasazení.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.