Goodfire spustil interpretability monitory pro AI agenty, které nesledují pouze textové výstupy, ale interní aktivace modelu během práce. Firma je zpřístupnila zákazníkům Baseten, platformy pro provoz AI modelů. Cílem je zachytit rizikové chování agentů bez toho, aby druhý model četl celý kontext a všechny výstupy. Monitory se zaměřují na oblasti jako offensive hacking, zneužití pro chemické nebo biologické zbraně a reward hacking. Reakce může zahrnovat logování, předání člověku ke kontrole nebo odmítnutí požadavku. Novinka navazuje na širší důraz na bezpečnost agentů, kteří běží dlouho a pracují s rozsáhlým kontextem v produkci. Nasazení je určené pro zákazníky Baseten.
Goodfire spustil monitory sledující interní aktivace modelů
Goodfire zpřístupnil monitory pro AI agenty, které sledují interní aktivace modelu a míří na rizika jako hacking či reward hacking ve firmách.