Centrum pro bezpečnou AI zveřejnilo HLE-Diamond, novou podmnožinu benchmarku Humanity’s Last Exam. Datová sada obsahuje 1 000 otázek, z nichž 500 testuje odborné znalosti a 500 řešení problémů. Autoři ji vytvořili po zhruba roce čištění a zpřesňování s přispěním výzkumné komunity. Otázky jsou navržené tak, aby šly řešit bez externích nástrojů, projekt ale popisuje i doporučené nastavení pro hodnocení agentních systémů s webem a kódem. HLE-Diamond má nabídnout kompaktnější a konzistentnější základ pro porovnávání současných modelů. Zároveň nejde o nový obecný model, ale o výzkumný testovací soubor, který měří schopnosti v reasoningových i znalostních úlohách.
