Tým za protokolem iroh představil Mesh LLM, open-source framework, který umožňuje sdružovat GPU napříč počítači do jediného OpenAI-kompatibilního API. Cílem je dát vývojářům kontrolu nad tím, kde běží jejich modely a data, aniž by byli závislí na centrálních poskytovatelích.
Mesh LLM distribuuje zátěž mezi uzly v síti a podporuje pluginovou architekturu – každý uzel deklaruje, co nabízí, a runtime se postará o směrování požadavků. Standardní OpenAI klient se připojí k lokálnímu endpointu, který request rozloží mezi dostupné GPU v síti – ať už jde o servery v kanceláři, domácí stanice nebo cloudové instance.
Projekt reaguje na rostoucí poptávku po decentralizovaném AI computingu. Firmy mají GPU ve svých prostorách, ale chybí jim způsob, jak je spojit do jednoho celku. Mesh LLM řeší právě tento problém – bez nutnosti pronájmu drahých cloudových kapacit. Na Hacker News získal přes 170 bodů a vyvolal živou diskusi o budoucnosti AI infrastruktury.
