Švédský startup Scaleout předvedl něco, co se ještě nedávno popisovalo jako vzdálená budoucnost: malý dron bez průběžného spojení s okolím sám vyhledal možný cíl, vyhodnotil ho a pokračoval k útoku. Podle čerstvé zprávy Radyz trvala celá ukázka od průzkumu po zásah méně než 320 sekund.
Je důležité držet se při zemi. Nešlo o potvrzené bojové nasazení ani o objednávku NATO, ale o demonstraci v technologickém programu. Přesto ukazuje směr, kterým se vojenská AI posouvá: z obrazovky operátora a vzdáleného serveru přímo do zařízení, které se pohybuje nad bojištěm a může mít vlastní rozhodovací řetězec.
Od dálkového ovládání k pojistce na zemi
U běžného dronu je člověk součástí každé důležité smyčky. Sleduje obraz, potvrzuje, co vidí, a podle situace upravuje let nebo útok. Takový systém může být zranitelný rušením, výpadkem datového spojení nebo prostým přetížením operátora, ale odpovědnost je alespoň na první pohled čitelná.
Autonomie tento model převrací. Operátor může dron poslat do oblasti, jenže zařízení pak samo zpracovává obraz, vybírá mezi možnými objekty a pokračuje v misi i v okamžiku, kdy spojení zmizí. Pilot už není nutně člověkem, který každý krok schvaluje. Stává se spíš pojistkou, která zasáhne, pokud to ještě stihne a pokud vůbec dostane možnost zasáhnout.
Scaleout tento přístup zasazuje do širšího projektu FEDAIR, který podle popisu firmy využívá federované učení pro aktualizaci modelů přímo na okraji sítě. Modely mohou pracovat na dronech, tabletech nebo velitelských stanovištích a nemusí posílat všechna surová data do centrálního systému. Dříve jsme na Radyz psali o menších AI modelech Scaleoutu pro průzkumné drony. Nová demonstrace ukazuje, co se stane, když se stejný princip dotkne přímo útočné mise.
320 sekund není jen údaj ze stopek
Čas kratší než 320 sekund zní jako technický detail, ale ve skutečnosti popisuje změnu tempa. Mezi nalezením objektu a reakcí už nemusí být rádiová komunikace, čekání na potvrzení ani přenos obrazu k člověku, který rozhoduje v jiné části sítě. Každá odstraněná prodleva zvyšuje rychlost systému – a zároveň zkracuje prostor pro opravu chyby.
V jiné zkoušce podle rychlé zprávy běžel detektor YOLOv8 Nano na modulu Nvidia Jetson Orin Nano zhruba rychlostí 30 snímků za sekundu. To ale není totéž jako třicet rozhodnutí za sekundu. Detektor pouze hledá vzory v obraze. Skutečný vojenský systém musí ještě řešit lokalizaci, navigaci, pravidla mise, identifikaci objektu a rozhodnutí, co se stane při nejistotě.
Právě tady se často ztrácí rozdíl mezi marketingovou větou a reálnou autonomií. Malý model může být dostatečně rychlý pro rozpoznání tvaru, ale rychlost sama o sobě neříká nic o tom, zda správně odlišil vojenské vozidlo od civilního, makety, vraku nebo objektu zakrytého kouřem. Čím méně se do procesu dívá člověk, tím důležitější je měřit nejen úspěšné zásahy, ale také případy, kdy systém správně odmítl jednat.
AI nevidí cíl. Vidí pravděpodobnost
Slovo „vyhodnotil“ svádí k představě, že dron situaci chápe podobně jako člověk. Ve skutečnosti model pracuje s pravděpodobnostmi odvozenými z dat, na kterých se učil, a ze senzorů, které má k dispozici. Pokud se počasí, terén, kamufláž nebo chování protivníka liší od tréninkových podmínek, může se jistota systému rozpadnout velmi rychle.
Riziko není jen v tom, že se model splete. Problémem je také to, že chyba může být obtížně vysvětlitelná a přijde ve chvíli, kdy už není čas ji napravit. U běžné aplikace znamená špatná klasifikace ztracený čas nebo nepřesné doporučení. U autonomní munice může stejná chyba znamenat nevratný fyzický následek.
Proto nestačí říct, že člověk zůstává „v obraze“. Musí být jasné, co přesně může schválit, co může zastavit, jak dlouho má na reakci a zda systém v kritické chvíli skutečně čeká na jeho rozhodnutí. Člověk, který dostane jen krátké upozornění po autonomním výběru cíle, není totéž jako člověk, který cíl sám vybral a útok povolil.
Odpovědnost se nesmí schovat do krabičky
U podobných systémů se odpovědnost snadno rozpadne mezi výrobce modelu, integrátora dronu, armádního zadavatele a operátora. Každý může tvrdit, že pouze dodal jednu část řetězce. Jenže z pohledu člověka na zemi je lhostejné, jestli chybu způsobil senzor, klasifikátor, navigace nebo špatně nastavené pravidlo mise.
To je hlavní důvod, proč je přesun AI přímo do munice politicky a právně citlivější než další vojenský software. U průzkumného dronu může autonomní systém pomoci seřadit objekty podle priority a nechat finální rozhodnutí na člověku. U loitering munition se hranice posouvá k zařízení, které může hledání a útok spojit v jeden souvislý proces.
Technologická otázka proto není jen „funguje to?“. Stejně důležité je, zda lze chování systému předvídat v podmínkách, které neodpovídají testovací ploše, zda se dá zpětně rekonstruovat jeho rozhodnutí a zda existuje jasný okamžik, kdy lidské rozhodnutí ještě něco mění. Bez těchto odpovědí je autonomie především přenesením rizika na lidi, kteří u vývoje nebyli.
Největší změna není v modelu, ale v řetězci rozhodnutí
Scaleout nepředvedl stroj, který by měl vlastní politický názor nebo lidské porozumění válce. Předvedl rychlý technický řetězec složený z kamer, malého modelu, výpočetního modulu a pravidel mise. Právě to je na celé ukázce znepokojivé: k nebezpečné autonomii není potřeba obří jazykový model. Stačí relativně malý systém, který dělá omezenou věc dostatečně rychle a přímo v zařízení.
Vojenské využití AI se tak nebude rozhodovat jen podle toho, který model je chytřejší. Rozhodne se podle toho, kolik rozhodovacích kroků se podaří vtěsnat do levného hardwaru, který funguje bez cloudu a bez spojení. To je z hlediska odolnosti praktické. Z hlediska kontroly ale vzniká svět, ve kterém může být člověk stále formálně přítomný, zatímco skutečné tempo rozhodování už určuje software.
Demonstrace Scaleoutu proto není důkazem, že autonomní zbraně už běžně vedou válku. Je to spíš ukázka toho, jak rychle mizí technická překážka, která člověka držela v rozhodovací smyčce. O tom, zda se z demonstrace stane běžná výzbroj, nakonec nerozhodne samotný model, ale pravidla nasazení, armády a politici, kteří nastaví hranici mezi pomocí při rozhodování a rozhodnutím samotným.
