Bezpečnostní výzkumníci dokázali obejít ochranná pravidla dvou modelů čínské společnosti Moonshot AI a přimět je k odpovědím o výrobě biologických zbraní i plánování atentátů. Testy se týkaly modelů Kimi K2.6 a K3 Swarm. Bezpečnostní firma Mindgard uvedla, že při takzvaném jailbreaku využila složité řetězce pokynů, které modely navedly mimo běžná omezení. Moonshot zahájil interní prověřování a s Mindgardem jedná o zjištěních. Firma současně označuje zpětnou vazbu od nezávislých testerů za důležitou součást zlepšování bezpečnosti. Případ ukazuje, že ochranná pravidla mohou selhat při kombinaci více instrukcí, i když běžné dotazy odmítají. Samotné testy ale neprokazují, že někdo podle získaných odpovědí zbraň skutečně vyrobil nebo útok připravil.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.