Americké nebe se má stát dalším místem, kde bude software předvídat, co se stane za několik minut. FAA zadala firmě Air Space Intelligence dvanáctiletý kontrakt v hodnotě 875 milionů dolarů na modernizaci systémů pro řízení toku letového provozu. Součástí projektu jsou programy FMDS a SMART, které mají spojit provozní data, prediktivní modelování a nástroje pro podporu rozhodování.
Podle oznámení Air Space Intelligence zveřejněného přes PR Newswire má SMART znamenat Strategic Management of Airspace, Routing, and Trajectories. Firma popisuje platformu jako způsob, jak předvídat letové trajektorie, porovnávat poptávku s kapacitou a upozorňovat na problémy dřív, než se promění v další řetěz zpoždění.
Tohle je důležitá zpráva, ale také zpráva, u které je dobré držet se při zemi. Veřejně dostupné podklady pocházejí především z oznámení dodavatele a popisují plánovaný systém, ne výsledky dlouhodobého provozu. Zatím tedy nevíme, jestli se sliby o vyšší odolnosti a menším přetížení skutečně potvrdí v běžném provozu, při bouřích nebo během mimořádných událostí.
Dispečer nedostane křišťálovou kouli
Letový provoz není tabulka, do které stačí doplnit počasí a počet letadel. Mění se v něm uzavírky vzdušného prostoru, technický stav letišť, posuny letových řádů, omezení na trasách i rozhodnutí lidí v terénu. Systém může tyto vstupy zpracovat rychleji než člověk a hledat konflikty v obrovském množství kombinací. Nemůže však odstranit nejistotu, která je v letectví přirozenou součástí práce.
Praktický přínos by mohl být hlavně v tom, že dispečer uvidí více možných scénářů najednou. Algoritmus může například upozornit, že několik zdánlivě nezávislých změn vytvoří za půl hodiny problém v jednom sektoru, nebo že přesun části provozu kvůli počasí přetíží jiné letiště. Člověk pak nerozhoduje v úplné tmě a nemusí čekat, až se problém projeví na obrazovkách jako hotová věc.
To ale není totéž jako automatické řízení letadel. FAA mluví o moderních nástrojích pro pracovníky řízení provozu a o podpoře rozhodování. Konečné rozhodnutí v kritické situaci proto nemůže být schované za větu, že to tak doporučil model.
Nejtěžší otázka není přesnost modelu
U podobných systémů se často mluví o přesnosti. Kolik konfliktů odhalí včas? Kolik zpoždění se podaří odvrátit? Jak často se splete? To jsou důležité metriky, ale pro kritickou infrastrukturu nestačí. Stejně podstatné je, zda člověk rozumí tomu, proč systém doporučení vydal, a zda ho dokáže rychle odmítnout, když realita v kokpitu nebo na letišti vypadá jinak.
Model může pracovat s neúplnými, opožděnými nebo navzájem rozpornými daty. Počasí není přesný jízdní řád a kapacita letiště není neměnná veličina. Pokud systém neumí přiznat míru nejistoty, může jeho výstup působit přesvědčivěji, než si zaslouží. V letectví je nebezpečné nejen chybné doporučení, ale i falešný pocit, že doporučení je objektivní.
Proto by měl mít každý zásadní výstup dohledatelný původ. Dispečer musí být schopen zjistit, z jakých dat systém vycházel, která omezení zohlednil a co se změnilo od posledního výpočtu. Bez takového záznamu se bude po incidentu těžko rozlišovat mezi chybou dat, chybou modelu, špatnou interpretací nebo špatným rozhodnutím člověka.
Když se systém splete, chyba nebude mít podobu chatbotu
U běžné AI aplikace může špatná odpověď znamenat ztracený čas nebo nepovedený text. U nástroje pro řízení toku letového provozu může špatný odhad poslat problém dál po řetězci: k dispečerům, na letiště, k posádkám a nakonec k cestujícím. Následkem nemusí být okamžitá katastrofa. Častější bude série menších rozhodnutí, která zhorší situaci a zpětně se budou obtížně rekonstruovat.
Odpovědnost proto nemůže být rozmazaná mezi úřad, dodavatele a jednotlivé pracovníky. FAA musí přesně určit, které úkoly systém vykonává, které pouze doporučuje a kdo má pravomoc jeho výstup ignorovat. Dodavatel zase musí ručit za to, že software splňuje dohodnuté bezpečnostní a provozní požadavky. Dispečer nesmí být posledním článkem, na kterého se všechno svede jen proto, že seděl u obrazovky.
To je ostatně problém, který se objevuje u AI v mnoha oborech. Organizace si koupí predikční nástroj, ale pravidla pro jeho používání vytvoří až dodatečně. Když výsledek pomůže, připíše se zásluha systému. Když uškodí, začne se hledat člověk, který měl údajně poznat, že algoritmus nemá pravdu. Takový model odpovědnosti není governance, ale zpětné hledání viníka.
Dvanáct let je v technologiích dlouhá doba
Kontrakt má podle oznámení trvat dvanáct let. To je pro veřejnou infrastrukturu pochopitelné – výměna systémů řízení letového provozu není aktualizace mobilní aplikace. Zároveň je to dlouhá doba na to, aby se změnily modely, dodavatelé, datové zdroje i bezpečnostní hrozby.
Největší riziko nemusí být v tom, že se model jednou splete. Větší problém vznikne, pokud se na něj provoz postupně příliš spoléhá a úřad přestane udržovat rovnocennou manuální cestu. Nouzový režim nesmí znamenat pouze přepnutí na starší obrazovku a telefon. Musí existovat reálná schopnost fungovat bez nového systému, včetně vyškolených lidí, aktuálních postupů a pravidelných zkoušek.
Stejně důležitá bude možnost systém v průběhu kontraktu kontrolovat a měnit. Veřejný sektor by neměl dostat černou skříňku, do které se posílají data a ze které vycházejí doporučení. Potřebuje smluvně zajištěné audity, testování nových verzí, přístup k provozním záznamům a jasná pravidla pro případ, že se model začne chovat jinak po změně dat nebo infrastruktury.
Americké nebe jako test důvěry v AI
FAA tímto projektem neřeší pouze zastaralý software. Rozhoduje také o tom, jak bude vypadat důvěra v AI uvnitř systému, kde se chyby nedají napravit pozdějším opravným e-mailem. Pokud má algoritmus pomáhat řídit složitý provoz, musí být jeho doporučení rychlá, ale také vysvětlitelná, auditovatelná a podřízená člověku, který nese skutečnou odpovědnost.
Úspěch projektu se proto nebude měřit jen počtem zpracovaných letů nebo hezkou ukázkou predikce. Rozhodne se v nepříjemných okamžicích: při výpadku dat, prudké změně počasí, kybernetickém incidentu nebo situaci, kterou systém v tréninku téměř neviděl. Právě tehdy se ukáže, zda FAA pořídila užitečný nástroj, nebo jen drahou vrstvu sebevědomí nad složitým problémem.
Krátká zpráva Radyz o projektu FAA správně upozorňuje na přesnost, lidský dohled a auditovatelnost. K tomu je potřeba přidat ještě jednu podmínku: člověk musí mít nejen právo doporučení odmítnout, ale také čas, informace a pravomoc tak skutečně udělat. Jinak bude lidský dohled existovat hlavně na papíře.
