Meta chtěla uživatelům usnadnit práci s obsahem na Facebooku a Instagramu. Místo toho ukázala, jak rychle se může užitečný návrh dotazu změnit v nepříjemný pocit, že se člověk stal objektem tichého zkoumání. Podle případu popsaného v The Verge Meta AI nabídla uživatelce otázku, kdo je dítě sedící v autě na jejím videu.
Událost popisuje také rychlá zpráva Radyzu. Důležitý není pouze konkrétní prompt, tedy textová výzva pro AI. Mnohem zásadnější je, že asistent sám navrhl směr, který uživatele vedl k identifikaci dítěte, jeho věku a bydliště rodiny.
Meta později uvedla, že v tomto případě „minula cíl“ a že podobná otázka se vůbec neměla zobrazit. Funkci podle svého vyjádření opravila. Tím ale nezmizela otázka, která je pro všechny platformy s AI důležitější než jedna chybná formulace: kdy ještě asistent pomáhá s obsahem a kdy už z něj vytváří osobní profil?
Problém nezačal u odpovědi
Kdyby se uživatelka sama zeptala, kdo je dítě na videu, šlo by o jiný typ situace. Stále by vznikaly otázky soukromí a přesnosti, ale iniciativa by vyšla od člověka. V popsaném případě byl problém už v samotném návrhu otázky, který se objevil pod videem a nabídl konkrétní způsob, jak se na rodinný obsah dívat.
To je podstatný rozdíl mezi asistentem, který reaguje na požadavek, a asistentem, který aktivně určuje, co stojí za pozornost. Jakmile systém začne sám doporučovat otázky, není pouze neutrálním rozhraním. Spolurozhoduje o tom, které informace spojí, jaký význam jim přisoudí a jaký další krok uživateli nabídne.
Meta chce, aby lidé s jejími službami trávili více času a využívali AI přímo uvnitř aplikací. Návrhy dotazů jsou logický produktový nástroj: snižují tření a ukazují, co všechno lze s obsahem udělat. Stejný mechanismus ale může zvyšovat zvědavost způsobem, který by člověk sám od sebe nepovažoval za přijatelný.
Veřejné neznamená volné pro jakýkoli účel
Meta tvrdí, že odpověď vycházela z informací, ke kterým uživatelka měla přístup. To je technické vysvětlení, nikoli automatická odpověď na otázku, zda bylo použití těchto informací přiměřené. Veřejně dostupný příspěvek může být určený rodině, přátelům nebo běžnému publiku. Z toho ještě neplyne, že jeho autor souhlasí s tím, aby systém z jednotlivých příspěvků sestavoval identitu, vztahy a citlivé závěry.
Evropské GDPR definuje profilování jako automatizované zpracování osobních údajů, jehož cílem je vyhodnocovat osobní aspekty člověka – například jeho preference, chování, polohu nebo pohyb. Stejný předpis vyžaduje, aby se osobní údaje zpracovávaly zákonně, férově a transparentně a aby byly používány pro konkrétní a legitimní účely. Text GDPR na EUR-Lexu samozřejmě sám o sobě nerozhoduje, zda tento konkrétní případ porušil zákon. Ukazuje ale, proč věta „bylo to veřejné“ celou debatu uzavírat nemůže.
Rozhoduje kontext. Uživatel může souhlasit s tím, že jeho video uvidí lidé, které si vybral, ale nemusí očekávat, že z něj AI vytáhne jméno dítěte, propojí ho s příbuznými a připraví další otázky o věku nebo bydlišti. Viditelnost informace a očekávaný účel jejího použití nejsou totéž.
AI skládá člověka z drobků
Člověk, který si prohlédne několik příspěvků, si může jednotlivé detaily spojit v hlavě. AI to dokáže dělat rychleji, ve větším měřítku a bez přirozeného sociálního ostychu, který by člověka často zastavil. Jméno v jednom videu, obličej v jiném příspěvku, zmínka příbuzného a informace o místě bydliště se v systému mohou proměnit v souvislý profil.
To je rozdíl mezi vyhledáním informace a vytvořením nového závěru. Model nemusí odhalit žádné tajemství, aby vyvolal problém. Stačí, když poskládá veřejné střípky do podoby, kterou uživatel nikdy nezveřejnil jako celek a kterou dotčený člověk nemohl rozumně předvídat.
Podobnou hranici řeší i jiné osobní asistenty. V rychlé zprávě o asistentu Instinct se objevuje stejný základní spor: čím více aplikací a osobních dat asistent propojí, tím užitečnější může být. Současně ale roste počet situací, kdy uživatel nemusí vědět, co přesně systém vidí, spojuje a ukládá jako kontext.
Nejproblematičtější část byla otázka
Kdyby Meta AI pouze odpověděla na otázku o videu, mohla by firma namítnout, že systém reagoval na přímý požadavek. Návrh otázky ale znamená, že systém sám vyhodnotil identitu dítěte jako relevantní téma. Tím se odpovědnost přesouvá z modelu na produktový design: někdo musel rozhodnout, že takové otázky jsou vhodným pokračováním sledování rodinného videa.
Návrhy nejsou dekorace. Mění chování uživatele. Nabídnutá otázka působí jako doporučení a doporučení od známé platformy může vypadat jako potvrzení, že daný typ zájmu je normální, bezpečný a očekávaný. Pokud se systém zeptá na věk dítěte nebo jeho bydliště, část uživatelů to nebude vnímat jako překročení hranice – právě proto, že hranici před nimi překročila aplikace.
To také vysvětluje, proč nestačí říct, že šlo o jednu chybu modelu. Model mohl být nepřesný, ale samotná možnost generovat takové návrhy byla součástí produktového rozhodnutí. Oprava filtru je nutná, ovšem stejně důležité je přezkoumat, jaké kategorie otázek systém vůbec smí navrhovat a proč.
Děti nejsou běžný testovací materiál
U dospělého člověka je už samotná automatická identifikace citlivá. U dětí je důvod k opatrnosti ještě silnější, protože dítě nemůže stejným způsobem kontrolovat digitální stopu, kterou za něj vytvářejí rodiče nebo příbuzní. Fotografie a videa se mohou stát součástí dlouhodobého profilu dříve, než dítě vůbec pochopí, co takový profil znamená.
V tomto případě je navíc důležitý rozdíl mezi obsahem a metadaty, která z něj AI odvodí. Rodič mohl zveřejnit video z cesty nebo rodinné události. Asistent z něj může udělat otázku na jméno, věk a bydliště. Druhá podoba informace je pro soukromí mnohem invazivnější, přestože vychází ze stejného souboru.
Tvrzení uživatelky, že jí systém zobrazil i fotografii, kterou podle ní před lety smazala, je v reportu The Verge uvedeno jako její zkušenost, nikoli jako nezávisle potvrzený technický nález. I kdyby se tato část nepotvrdila, hlavní problém zůstává: AI vytvořila nové spojení mezi obsahem a osobní otázkou, které uživatelka neočekávala.
Meta má technickou odpověď, ale ne úplnou
Meta uvedla, že opravila problém, kvůli kterému Meta AI navrhovala dotazy k osobním tématům. To je rozumná první reakce. U podobných systémů však oprava jedné kategorie promptů neřeší celý mechanismus, který vede od veřejného obsahu k osobnímu závěru.
Platforma by měla být schopná vysvětlit alespoň několik věcí: jaký obsah se při tvorbě návrhů používá, zda se propojují příspěvky různých lidí, jak dlouho takový kontext existuje a proč konkrétní otázka vznikla. Uživatel nemusí dostat technický výpis celého modelu, ale měl by rozumět tomu, zda se dívá na pomoc s obsahem, nebo na automaticky vytvořený profil.
Přístup „uživatel to mohl vidět“ je pro takové vysvětlení příliš slabý. Vidět informaci znamená mít možnost ji otevřít. Neznamená to vědět, že ji algoritmus spojí s dalšími údaji, odvodí z ní nový závěr a nabídne ho jako další krok.
Kdo určuje hranici?
U sociálních sítí se často mluví o nastavení soukromí, mazání příspěvků a volbě publika. To jsou důležité kontroly, ale u AI asistenta přibývá ještě jedna vrstva: kontrola nad tím, jaké otázky smí systém sám formulovat. Uživatel nemusí pouze rozhodovat, kdo uvidí jeho obsah. Měl by mít také možnost ovlivnit, jaké závěry z něj platforma smí aktivně nabízet.
- Rozlišovat mezi popisem obsahu a identifikací lidí, kteří se v něm objevují.
- Zakázat návrhy otázek týkajících se dětí, bydliště, zdravotního stavu nebo jiných citlivých oblastí, pokud k nim uživatel nedal jasný kontext.
- Vysvětlit, z jakého obsahu a jakého období návrh vznikl, aniž by se tím odhalovaly další osobní údaje.
- Dát uživateli možnost podobné návrhy vypnout a skutečně je nepoužívat jako signál pro další profilování.
To nejsou požadavky na AI, která nikdy nic neodhadne. Jsou to požadavky na produkt, který rozumí rozdílu mezi tím, co technicky dokáže najít, a tím, co je vhodné uživateli aktivně nabídnout.
Veřejnost jako alibi nestačí
Meta není v této otázce sama. Firmy stavějí asistenty přímo do míst, kde už lidé sdílejí fotografie, zprávy, kontakty a pracovní dokumenty. V rychlé zprávě o brýlích s rozpoznáváním lidí je vidět jiná varianta stejného problému: zařízení může zachytit člověka, který nikdy nedal souhlas k tomu, aby ho systém poznával nebo zařazoval.
Společný jmenovatel není konkrétní model ani jedna sociální síť. Je to představa, že když je informace někde dostupná, může ji software bez dalšího použít pro jakýkoli nový účel. AI tuto představu činí nebezpečnější, protože umí z relativně neškodných jednotlivostí vyrábět závěry, které působí mnohem citlivěji než původní příspěvky.
Stejný tlak bude růst s tím, jak se asistenti propojí s historií účtu, kontakty, polohou a dalšími aplikacemi. Případ OpenAI s ochranou soukromí pro firemní zákazníky ukazuje, že poskytovatelé už musí řešit nejen schopnosti modelu, ale také přístupová pravidla, dohled a správu dat. U spotřebitelských asistentů se stejná otázka vrací v méně formální, ale o to osobnější podobě.
Správná otázka není „bylo to veřejné?“
Správná otázka zní, co přesně systém s veřejným obsahem udělal. Pouze ho popsal? Odpověděl na přímý dotaz? Nebo sám spojil několik příspěvků, vytvořil nový závěr a nabídnul ho jako doporučenou cestu ke zkoumání dalšího člověka?
Meta může konkrétní návrh odstranit a označit ho za chybu. To ale neřeší širší problém, který se bude opakovat u všech platforem, jež chtějí z asistenta udělat průvodce po osobním obsahu. Čím méně AI pouze odpovídá a čím více sama navrhuje, co máme hledat, tím důležitější je hranice mezi personalizací a profilováním.
Užitečný asistent by neměl být ten, který vytěží maximum z každého dostupného střípku. Měl by být ten, který pozná, kdy další otázka není pomoc, ale zásah do cizího soukromí. A tuto hranici nemůže nechat na náhodě, virálním videu nebo omluvě až poté, co ji uživatelé uvidí na vlastní oči.
