NVIDIA Research zveřejnila SWE-Serve, benchmark zaměřený na kódovací agenty pracující na produkčním servingu modelů. Úlohy vycházejí z reálných změn v projektu SGLang a pokrývají integraci modelů, veřejná API, cache i GPU kernely. Každý úkol má skryté funkční a regresní testy, které hodnotí chování výsledné opravy, nikoli shodu s referenční implementací. Autoři připravili 53 úloh a každý běh opakovali třikrát, takže výsledky vycházejí ze 159 pokusů pro jednu konfiguraci. Agent během hodnocení nemá přístup k veřejnému webu ani k upstream repozitářům. Benchmark proto měří praktickou schopnost dokončit omezený inženýrský úkol v připraveném prostředí, ne obecnou kvalitu autonomního vývoje.
