Poslechněte si tento článek

Namluvila Ifigenie AI

Ifigenie
0:00 / 0:00

Jedna dobře napsaná stížnost může člověku pomoci domoci se práva. Tisíce podobných podání vytvořených během několika minut ale mohou stejný systém zahltit. Právě tento rozpor popisuje nový výzkumný preprint o takzvaném agentickém zahlcení veřejných služeb.

Autoři Chris Schmitz, Lewis Hammond a Alan Chan sesbírali 84 potenciálních případů v 11 jurisdikcích. Nejde o tvrzení, že umělá inteligence už sama obíhá úřady a činí právní rozhodnutí. Ve většině popsaných případů jazykový model levně vygeneruje text, zatímco člověk ještě ručně dokončí zbytek procesu.

Nejde o roboty u přepážky

To je důležitá nuance. Pojem agentické zahlcení zní jako armáda autonomních programů, které současně podávají formuláře. Data zatím ukazují něco méně efektního, ale možná důležitějšího: model zkrátí čas a náklady potřebné k napsání přesvědčivého podání. Člověk pak může podat žádost, žalobu, připomínku nebo námitku, na kterou by bez pomoci neměl čas ani znalosti.

Studie pracuje s 84 případy napříč 13 oblastmi veřejných služeb. U 58 z nich zapojení AI uváděli přímo vládní představitelé, u dalších 26 vycházelo tvrzení pouze z důvěryhodných sekundárních zdrojů. Autoři ale výslovně upozorňují, že jejich metoda nedovoluje dělat kauzální ani kvantitativní závěry o tom, jak velkou část nárůstu způsobili právě AI nástroje.

Podstatné je také to, co se zatím neděje. Ve sledovaných případech není jasným hlavním mechanismem autonomní procházení webů a vyplňování formulářů bez člověka. Převládá generování velkého množství textu pomocí LLM. I to ale stačí ke změně měřítka: úřad už nemusí řešit jen více lidí, ale také více podání od stejného počtu lidí.

Když se právo na odvolání začne vyrábět ve velkém

Nejzranitelnější jsou podle autorů služby, které jsou finančně atraktivní, ale současně složité. Typickým příkladem může být žádost o dávku, námitka proti rozhodnutí, žaloba nebo připomínka k veřejnému projektu. Pokud model vysvětlí pravidla, najde argumenty a připraví hotový text, zmizí velká část takzvané administrativní zátěže, která lidi od podání odrazuje.

To má dobrou stránku. Člověk, který nerozumí právnímu jazyku nebo nemá peníze na poradce, získá lepší přístup ke službě. Problém vzniká ve chvíli, kdy systém nebyl navržen na levné a masové podávání. Z výjimky se stane běžná taktika a z práva na odvolání další kanál, který lze průmyslově zásobovat textem.

V rychlé zprávě o tomto výzkumu jsme už zmiňovali britského ombudsmana pro bydlení a americký úřad CFPB. Podle popisu v TechCrunch tam v posledním roce prudce narostl objem některých podání a úřady část nárůstu spojovaly s generativní AI. Takové příklady nejsou samy o sobě důkazem obecného trendu, ukazují ale, kde se problém může objevit jako první: u institucí, které musí každé podání přijmout, zaevidovat a nějak zpracovat.

Levnější přístup může vytvořit dražší úřad

Veřejná debata má v takové situaci nepříjemnou tendenci přeskočit rovnou k poplatkům. Když je podání příliš mnoho, přidáme tření: vyšší poplatek, složitější ověření, více povinných polí nebo přísnější formát. Pro úřad to může být rychlá brzda. Pro člověka, který se snaží domoci legitimního nároku, je to ale další překážka.

Autoři preprintu proto upozorňují na střet mezi kapacitou a rovností přístupu. Nejrychlejší opatření mohou zároveň nejvíc poškodit lidi, kterým mělo zjednodušení komunikace pomoci. Pokud se za každou automaticky připravenou stížností začne hledat podvod, úřad může potrestat i člověka, který jen poprvé dostal nástroj, jak své právo srozumitelně popsat.

To není úplně nový problém. Nové je tempo a cena. Jak jsme psali v textu o tom, že AI začíná spotřebovávat více tokenů než lidé, jeden lidský pokyn může spustit desítky dalších operací softwaru. U veřejné služby se stejný princip projeví jinak: jeden člověk zadá úkol, model vyrobí několik variant a do systému se nakonec dostane množství textu, které už lidská kapacita úřadu nestačí rozlišit.

Úřad potřebuje poznat nápor, ne zakázat pomoc

Studie navrhuje několik směrů, které jsou méně pohodlné než plošné zdražení přístupu. Prvním je audit expozice: úřad by měl vědět, které služby jsou snadno škálovatelné pomocí LLM, jaké typy podání se opakují a kde může malá změna v nákladech na podání vytvořit velký nárůst poptávky.

Druhým je digitální identita a jistota, kdo za podáním stojí. Ne proto, aby se lidem znemožnilo používat AI, ale aby instituce dokázala rozlišit mezi oprávněnou osobou, hromadně opakovaným textem a skutečně autonomní automatizací. Třetím směrem je právní jistota: předem musí být jasné, zda úřad smí vyžádat doplnění, spojit duplicitní podání, použít automatické třídění nebo odmítnout část požadavků jako zjevně zneužívající.

Tady se vrací i otázka odpovědnosti, kterou jsme řešili u AI agenta s přístupem ke kritickému systému. Agent není právní osoba a nemůže nést odpovědnost za to, co způsobí. Odpovědnost zůstává u člověka, který automatizaci nasadil, u instituce, která nastavila proces, a u státu, jenž určil pravidla přístupu ke službě.

Právo na podání není totéž jako právo na okamžité vyřízení

Nejrozumnější reakce proto nemusí spočívat v tom, že úřad začne AI podání automaticky odmítat. Může investovat do kapacity, používat vlastní nástroje pro třídění a vyžadovat strukturovanější údaje tam, kde volný text zbytečně zatěžuje posuzování. Rozdíl je mezi kontrolou procesu a překážkou, která dopadne hlavně na lidi bez právního zázemí.

Agentické zahlcení zatím není hotový nový druh útoku ani důkaz, že se veřejná správa zítra zhroutí. Je to varování před situací, kdy se náklady na vstup do systému sníží rychleji než náklady na jeho provoz. Veřejná služba pak může být formálně otevřená všem, ale prakticky ji ovládne ten, kdo má nejlepší automatizaci.

A právě tady se láme původní slib AI. Pokud nástroje lidem pomohou pochopit pravidla a uplatnit legitimní nárok, veřejné instituce z toho mohou těžit. Pokud ale každé zjednodušení přístupu skončí novou bariérou, vznikne jen další závod mezi těmi, kdo podání vyrábějí, a těmi, kdo je musí číst. Úřad, který chce tento závod vyhrát poplatkem, může nakonec prohrát vlastní důvod existence.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.