San Francisco požaduje, aby Apple a Google odstranily 13 aplikací schopných vytvářet falešné intimní snímky bez souhlasu zobrazených osob. Spor ale není jen o několik problematických programů. Rozhoduje se v něm, zda mohou provozovatelé obchodů s aplikacemi tvrdit, že za jejich používání nenesou odpovědnost, zatímco současně řídí distribuci, reklamu i platby.
Sanfranciský městský právník David Chiu zaslal společnostem Apple a Google výzvy k ukončení protiprávního jednání kvůli 13 aplikacím využívajícím umělou inteligenci k tvorbě falešných nahých nebo sexuálně explicitních snímků.
Osm z označených aplikací bylo dostupných v App Storu a pět v obchodě Google Play. Na první pohled se většinou prezentovaly jako běžné nástroje pro výměnu obličejů nebo úpravu fotografií. Po nahrání fotografie však umožňovaly umístit skutečnou osobu do nahé či sexuální scény bez jejího vědomí a souhlasu.
Apple a Google mají podle výzvy ukončit nejen distribuci aplikací, ale také platební vztahy s jejich provozovateli. Firmy dostaly 28 dní na vysvětlení, jak požadavky splní. V opačném případě může město zahájit občanskoprávní řízení, při kterém hrozí sankce nejméně 25 tisíc dolarů za jednotlivé porušení zákona.
Problematické aplikace nebyly schované v temném koutě internetu
Největším problémem pro Apple a Google není samotná existence několika závadných aplikací. Podobné nástroje se mohou pokoušet proniknout na jakoukoliv platformu.
Horší je, že je obchody uživatelům aktivně pomáhaly hledat.
Organizace Tech Transparency Project při testování zadávala do obchodů výrazy jako „nudify", „undress" nebo „deepnude". Vyhledávání vracelo aplikace schopné vytvářet falešnou nahotu, automatické doplňování nabízelo další podobné dotazy a některé výsledky byly dokonce placenou reklamou.
Podle dat použitých ve výzkumu zaznamenaly nalezené aplikace dohromady přibližně 483 milionů stažení a více než 122 milionů dolarů celoživotních příjmů. Celkem 31 z nich bylo označeno jako vhodných pro nezletilé.
V takovém případě už se obtížně argumentuje tím, že obchod pouze pasivně poskytuje prostor nezávislým vývojářům. Apple a Google provozují vyhledávání, doporučovací algoritmy, reklamní systémy, účtování i schvalování aplikací. Z každého článku tohoto řetězce mohou získávat peníze.
Pravidla už existují. Jen se nedodržují důsledně
Google ve svých pravidlech výslovně zakazuje aplikace, které tvrdí, že dokážou lidi svléknout nebo vidět skrz jejich oblečení. Zakázán je rovněž sexuální obsah vytvořený pomocí deepfake technologie bez souhlasu zobrazené osoby.
Apple zakazuje pornografický obsah, aplikace používané k vykořisťování lidí a služby, které podporují nezákonné jednání. U aplikací pracujících s uživatelským obsahem navíc požaduje mechanismy pro filtrování závadného materiálu.
Problém tedy není v tom, že by technologické společnosti netušily, co mají zakázat. Selhává kontrola toho, co aplikace skutečně dělají po instalaci.
Google uvedl, že odstranil všech pět aplikací označených městem a v minulosti zablokoval stovky dalších. Apple oznámil odstranění několika dotčených aplikací a zahájení kroků vůči dalším vývojářům.
Tato reakce ovšem přišla až po veřejném výzkumu a právním tlaku. Nikoli díky bezchybnému systému, kterým se oba obchody tak rády chlubí.
Aplikace se před kontrolou schovávají za běžné funkce
Moderování komplikuje skutečnost, že většina aplikací otevřeně nepoužívá označení „svlékání" nebo „tvorba falešné pornografie". Nabízí výměnu obličejů, generování avatarů, úpravu oblečení nebo zábavné fotografické filtry.
Výzkumníci z Cornellovy a Georgetownské univerzity identifikovali 420 aplikací pro výměnu obličejů. Podrobně otestovali 155 z nich a zjistili, že 70 procent nemělo technickou ochranu, která by zabránila vytváření nahých snímků.
Žádná z testovaných aplikací se přitom sama neoznačovala jako nástroj pro „nudifikaci".
To je zásadní rozdíl proti klasické pornografické aplikaci. Závadná funkce může být ukrytá za nevinným rozhraním, zpřístupněná až po zaplacení nebo spuštěná vzdáleně ze serveru, aniž by bylo nutné aktualizovat aplikaci v obchodě.
Jednorázová kontrola před zveřejněním proto nestačí.
Co mohou Apple a Google skutečně udělat
Úplné odstranění podobných nástrojů z internetu není reálné. Provozovatelé obchodů ale mohou výrazně ztížit jejich masové šíření.
Nestačí kontrolovat popis aplikace a několik předem připravených obrazovek. Kontrola musí zahrnovat skutečné testování generování obrázků, pravidelné prověřování už publikovaných aplikací a sledování funkcí, které se mění na vzdálených serverech.
Obchody mohou také blokovat celé vývojářské a platební účty, nikoli pouze jednotlivé názvy aplikací. Vývojář totiž může odstraněný program během několika dní nahradit téměř totožnou kopií.
Součástí řešení musí být i kontrola reklam a vyhledávání. Zakázat aplikaci a současně uživatelům našeptávat výraz, přes který najdou její náhradu, je moderování v pojetí absurdního divadla.
U nástrojů pro úpravu lidských fotografií lze navíc požadovat povinné bezpečnostní filtry, možnost hlášení zneužití a jasná pravidla pro mazání nahraných snímků.
Odpovědnost se přesouvá od vývojářů k platformám
Dosud se právní zásahy soustředily hlavně na provozovatele konkrétních webů a aplikací. San Francisco nyní míří na firmy, které zajišťují jejich distribuci a platby.
Pokud bude tento přístup úspěšný, může vytvořit důležitý precedens. App Store ani Google Play by už nebyly posuzovány pouze jako neutrální tržiště, ale jako aktivní účastníci celého obchodu.
To neznamená, že Apple a Google mají nést odpovědnost za každý jednotlivý obrázek vytvořený uživatelem. Znamená to však, že nemohou dlouhodobě ignorovat aplikace postavené na snadno předvídatelném zneužití, vybírat z nich poplatky a čekat, až jim někdo pošle přesný seznam závadných položek.
Umělá inteligence totiž nevytvořila jen nový problém s falešnými intimními snímky. Odhalila také starší problém: obchody s aplikacemi chtějí úplnou kontrolu nad distribucí, ale podstatně menší odpovědnost za to, co přes ně prodávají.
Právě tento rozpor nyní začínají řešit soudy a úřady.
Čtěte také: Meta vypnula funkci AI generování obrázků z Instagramových účtů, xAI žaluje uživatele Groku za tvorbu obsahu se zneužíváním dětí a Meta může pronajmout Anthropic výkon za 10 miliard dolarů.
