Nové měření projektu bpf-gpu-server zkoumá, zda přesun obsluhy požadavků GPU serveru do linuxového jádra sníží spotřebu procesorového času. Experiment porovnal cestu přes eBPF s nativním serverem v C++, přičemž obě varianty používaly stejný GPU dispečer a výpočty. U obsluhy malého jazykového modelu naměřili autoři stejnou propustnost a podobnou odezvu. Významná úspora CPU se neprokázala.

V testech malých požadavků klesl čas v uživatelském prostoru, práce se však převážně přesunula do systémového času. Při omezení na jedno logické jádro měla varianta eBPF horší koncovou latenci. Větší zlepšení přineslo jiné nastavení kapacity a síťového přenosu. Výsledky platí pro jeden počítač s RTX 5090, malé modely a provoz bez TLS. Nejsou obecným verdiktem proti eBPF ani měřením všech produkčních AI serverů.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.