Halucinace v AI je výstup, který působí věrohodně, ale obsahuje vymyšlené, chybné nebo nepodložené informace. Model může uvést neexistující knihu, připsat člověku cizí výrok nebo do shrnutí přidat něco, co v podkladu vůbec není.
Jak ji poznáš v praxi
Požádáš o zdroj k určitému tvrzení. Model uvede název studie, autory a rok, jenže taková práce neexistuje. Formálně úplná citace přitom může vypadat přesvědčivě. Jindy skutečný dokument existuje, ale nepodporuje tvrzení, ke kterému jej model přiřadil.
Proč vzniká
Jazykový model vytváří pravděpodobné pokračování vstupu; tím ještě automaticky neověřuje každou informaci. Výzkum Anthropicu popsal u zkoumaného modelu také situace, kdy rozpoznání známě působícího jména potlačilo odmítnutí odpovědi, přestože model neměl potřebné znalosti. Není to univerzální vysvětlení všech chyb.
Pojem neznamená, že model vědomě lže. Popisuje problém výstupu, nikoli jeho úmysl. Sebejistý tón ani podrobná odpověď nejsou spolehlivým ukazatelem správnosti.
Co pomáhá
Předání důvěryhodných podkladů, například přes RAG, může omezit odpovídání bez opory. Dokumentace AWS popisuje propojení odpovědí se zdrojovými dokumenty a citacemi. Ani tento postup však sám nezaručí, že model dokument správně vyloží.
U důležitých tvrzení proto otevři původní zdroj a porovnej konkrétní údaj s textem. Pomáhá také jasně určit, ze kterých podkladů má model vycházet a kdy má přiznat, že odpověď nemá.
