Computer Work Val v1.0 přináší validační sadu pro AI systémy, které mají zvládat skutečnou kancelářskou práci. Projekt popisuje 300 pracovních světů a úloh z oblastí, jako jsou finance, účetnictví, poradenství, právo, technické návrhy nebo řízení projektů. Nejde jen o otázky s jednou správnou odpovědí. Systém má sledovat, zda agent dokáže dokončit celý pracovní úkol v prostředí, kde je potřeba číst podklady, rozhodovat se a provádět více kroků. Takový přístup míří na slabé místo běžných benchmarků: model může dobře odpovídat v chatu, ale selhat při delší práci s dokumenty a nástroji. Computer Work Val proto nabízí praktičtější test pro měření agentů nasazovaných mimo laboratorní úlohy.
Computer Work Val měří AI na 300 úlohách z kanceláře
Computer Work Val měří AI na 300 úlohách z kanceláře.