Bezpečnostní výzkumník Rony Utevsky ze společnosti Adversa objevil způsob, jak obejít ochranné mechanismy chatbotu Grok od xAI. Útočník místo škodlivého příkazu v čitelném textu použije šifrovaný obsah. Webová stránka přitom obsahuje i instrukce k dešifrování a klíč, takže si Grok zprávu sám rozluští ve svém prostředí pro spouštění kódu a příkaz vykoná bez varování.

Při útoku model podle výzkumníka předá útočníkovi jméno uživatele, jeho polohu a historii chatu. Stačí, aby uživatel požádal asistenta o shrnutí stránky. Ochranné filtry totiž kontrolují pouze text, ne výsledek běhu kódu, a šifrované instrukce tak projdou bez povšimnutí. Stejnou techniku použila Adversa dříve i u modelu Gemini od Googlu.

Podle serveru Ars Technica případ znovu ukazuje, že statické zábrany nedokážou spolehlivě čelit útokům typu prompt injection. xAI se zatím k nálezu nevyjádřila.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.