Projekt llm-d vydal verzi 1.0 otevřeného prostředí pro distribuovanou inferenci jazykových modelů nad Kubernetes. Místo prostého rozdělování požadavků mezi servery zohledňuje také to, kde už leží kontext konverzace. Cílem je omezit opakované zpracování stejných vstupů a sdílet výpočetní kapacitu mezi interaktivními uživateli, agenty a dávkovými úlohami.
Nová verze přidává stabilní rozhraní, řízení priorit a spravedlivého přístupu více zákazníků i vysokou dostupnost směrování. Počítá s přesouváním KV cache do paměti hostitele a dalších úložišť, oddělením zpracování vstupu od generování a aktualizacemi bez výpadku. Na Google Cloud propojuje prostředí s GPU i TPU a obsluhou modelů přes vLLM nebo SGLang. Jednotlivé komponenty lze zavádět postupně, bez nutnosti nahradit celou stávající infrastrukturu.
