Scena iz filma Terminator. Do takšne znanstvene fantastike smo še zelo daleč. A do robotov, ki lahko sami sprejemo odločitev za ogenj, pa le korak stran. Foto: EPA
Scena iz filma Terminator. Do takšne znanstvene fantastike smo še zelo daleč. A do robotov, ki lahko sami sprejemo odločitev za ogenj, pa le korak stran. Foto: EPA

Z umetno inteligenco prehajamo v obdobje, ki se bo definitivno končalo z vojno med stroji. Mogoče bomo sprejemali neke dokumente, kot npr. v OZN-u, ki bodo razvoj upočasnjevali, ampak tehnično gledano, bo to zelo težko zavreti. Dejstvo je, da bo na koncu tudi vojna strojev. Čisto po znanstvenofantastičnih idejah.

Uroš Svete, obramboslovec, strokovnjak za sodobne oborožitvene sisteme
Ameriški predator
Ameriško brezpilotno letalo predator. Foto: EPA

Če imamo razvito umetno inteligenco, ki ni oborožena, ki deluje sama in sama sprejema odločitve; takrat je zelo težko reči, aha, na to umetno inteligenco ne smemo namestiti orožja. Mislim, mi to lahko rečemo. Ampak učinek bo majhen.

Svete
SWORDS
Ena izmed različic bojnih postaj. To (SWORDS) s pomočjo radijske povezave nadzira do 700 metrov oddaljen vojak. Foto: Ameriška vojska

Odločitve o življenju in smrti v oboroženih spopadih včasih potrebujejo sočutje in intuicijo. Ljudje imajo - ob vsej svoji zmotljivosti - vsaj ti dve zmožnosti, roboti pa ne. [...] Ne bodo se maščevali in njihova ravnanja ne bodo podržena paniki, jezi, hudobiji, predsodkom ali strahovom."

Christof Heyns, posebni poročevalec Sveta za človekove pravice pri OZN-u
GLADIATOR
Sistem GLADIATOR, ki ga uporabljajo ameriški marinci, spada med pol-avtonomne. Foto: Ameriška vojska

Težava je v tem, da človek skozi vso zgodovino poskuša svoje fizične omejitve zamenjati s tehnologijo. Težava, ki se tukaj pojavi, pa je: ne glede na to, ali je ustrelil raketo na 3.000 kilometrov ali naboj na 100 metrov ali pa je uporabil sulico od blizu. Vedno je bil človek tisti, ki je stal za orožjem, ki je sprejel odločitev in nosil odgovornost. To je ključno v tem dokumentu. V primeru avtonomnim robotskih ubojnih sistemov tega ni več. Opravka imamo z umetno inteligenco, ki je sposobna samoučečega delovanja, interakcije z okoljem, z nasprotnikom, in sama potem odloča.

Svete

Večina ljudi pozna film Terminator, kjer poskuša računalniški sistem Skynet s pomočjo mreže robotov uničiti človeštvo. Do nedavnega se je to uvrščalo v popolno znanstveno fantastiko.

Te dni pa Svet OZN-a za človekove pravice ubijalski roboti precej skrbijo. Do te mere, da je pripravil poročilo, s katerim mednarodno skupnost poziva k ustavitvi uporabe in nadaljnjega razvoja t. i. avtonomnih ubojnih robotskih sistemov.
Poročilo (dokument je v angleškem jeziku) je delo posebnega poročevalca Christofa Heynsa in bo predmet razprave sveta 29. maja. Sodeč po poročilu, imajo takšne popolnoma avtonomne sisteme ZDA, Velika Britanija, Izrael in Japonska.

"Ti sistemi odpirajo daljnosežna vprašanja o varstvu življena tako za časa vojne kot miru," je zapisano. Uporaba bo prinesla nove resne grožnje varnosti, potencialni razkol v mednarodni skupnosti zaradi novih neravnovesij in pustila veliko pravno praznino.
"Zgodovinski preobrat v vojevanju"
Človek od nekdaj poskuša svoje fizične omejitve zamenjevati s tehnologijo. Naj bo to raketa, izstreljena na razdalji 3.000 kilometrov, naboj na 100 ali sulica na 5 metrov, vedno je za orožjem stal človek, je za MMC pojasnil strokovnjak za sodobne oborožitvene sisteme Uroš Svete. Ključno je, da je človek sprejel odločitev in tudi nosil odgovornost.

V primeru avtonomnih robotskih ubojnih sistemov (ARUS) tega ni več. Po njegovi oceni gre za enega največjih preobratov v zgodovini vojevanja, saj je vse do te točke v zgodovini odločanje o življenju in smrti ležalo v človeških rokah. Prihaja pa čas, ko bo to odločitev algoritmov, programja ... strojev.

Robotski sistemi že dolgo služijo človeku
Robotski sistemi v uporabi oboroženih sil sicer niso nič novega. Spomnimo se samo nekdanje drame v Bostonu, ko so med lovom na bombaša okolico prečesali roboti v iskanju eksplozivnih teles. Robotski sistemi so v široki uporabi tako v zraku, na kopnem in na morju in namesto človeških rok izvajajo razminiranje, v izvidniških misijah pregledujejo teren ali nadzirajo dogajanje.

Spet drugi se ponašajo s posebnim dodatkom: orožjem. Med najbolj razvpite sodijo brezpilotna letala, t. i. troti (ang. 'drone'), s katerimi ZDA izvajajo likvidacije na tujih teritorijih. Zanimivost: marca letos je neki ameriški senator z neprekinjenim 13-urnim govorom preprečeval imenovanje novega direktorja CIE, dokler od predsednika ZDA Barracka Obame ni dobil posebnega dopisa. Obama je moral zagotoviti, da država s troti na lastnem ozemlju ne bo pobijala lastnih državljanov.
A s temi troti se poročilo Sveta OZN-a ne ukvarja. Tudi pri njih je potreben ali oddaljen človeški nadzor ali pa vsaj - dovoljenje človeškega nadzornika, da lahko stroj pritisne na petelina.
Ko se človeški dejavnik umakne
Ključno v novem poročilu je, da se osredotoča na tiste sisteme, pri katerih človeško posredovanje ni več potrebno, pa čeprav je še mogoče. Stroj bo lahko v tisočinki sekunde poskrbel, da se nasproti prihajajoči objekt ne bo več približeval. Prvi v dokumentu navedeni sistem v lasti ZDA ima sicer že nekoliko daljšo brado. Ladijski protiletalski phalanx (ki ga bodo opremili tudi z laserjem) z radarjem zazna prihajajoče rakete ali zračna plovila, se nanje usmeri ter avtomatsko odpre ogenj. Izraelska harpija samodejno zaznava ter uničuje sovražne radarske sisteme, Britanci so na listi z brezpilotnim bombnikom taranisom.

Stotisoče potencialno avtonomnih postaj

Svete pa opozarja, da se ta številka lahko z malo drugačnim pogledom takoj povzpne v stotisoče. Skoraj vse sodobne vojske imajo namreč bojne postaje. To so platforme z mitraljezi ali kakšnimi drugimi orožji, ki okolico zaznavajo s tipali (infrardečimi, toplotnimi) in lahko povsem samodejno zaznajo cilje in "odprejo ogenj", je pojasnil. Te platforme so lahko fiksne ali premične, torej potujejo na kolesih, gosenicah.
"Bojna postaja, ki sem jo omenil, lahko deluje povsem avtonomno," je dejal. "Za zdaj se človek sicer še vedno poskuša nekam vmes umestiti, torej je on tisti, ki sproži avtorizacijo. Ampak tehnično gledano, vsaka bojna postaja - nenazadnje je to lahko tudi brezpilotno letalo ali brezposadkovno vozilo - to naredi popolnoma avtonomno. Tehnično gledano, za to ni ovir." Primer: Izraelci imajo poseben bojni brezposadkovni čoln, ki lahko sam od sebe patruljira ter varuje pristanišče. Vse je le za odločitev daleč.
VelikiPes - hodeča robotska mula
Zadeve pa se ne ustavijo le pri čolnih ter minitankih. Vse bolj postajao podobne živim bitjem, ljudem, žuželkam. Roboti vse bolj posnemajo lastnosti živih bitij. Na spodnjem videu je BigDog, logistična mula, ki vojakom sledi na pohodih po težkih terenih ter zanje nosi do 200 kilogramov tovora. Če se prevrne, se sama postavi nazaj na noge, komunicira z okolico in sprejema odločitve. Le orožja nima.

Kaj sploh še omejuje ameriško vojsko, da na elektronsko mulo ne namesti mitraljeza in ga - samega ali v tropu - pošlje v hosto pobijat takšnega ali drugačnega sovražnika? "Nič. Popolnoma nič. Tehnično ni več nobene ovire, da bi na ta sistem, ki zdaj prenaša tovor, namestili bojno postajo," odgovarja Svete. To je tudi razlog, da je prišlo do zaskrbljenosti tudi v OZN-ju.
Roboti lahko medsebojno komunicirajo in potujejo v roju, neutrudno sistematsko krožijo nad teritorijem in ga nadzorujejo. Primer rojnega delovanja:


Množična uporaba ni daleč
...
Če ne bo kmalu prišlo do neke oblike učinkovite mednarodne regulacije teh sistemov, po Svetetovem mnenju do množične, faktorsko relevantne uporabe v vojevanju nismo desetletja daleč. "Govorimo o letih," je dejal. Uporaba se bo sicer zelo razlikovala med državami, saj nekatere izmed njih sploh dajejo poudarka na tehnologijo (prisegajo na asimetrično bojevanje), medtemo ko so ZDA ali Izrael "čisti hi-tech".
... niti na ulicah in trgih
Uporaba ne bo omejena le na meddržavno bojevanje ali varovanje meja, temveč bodo robotski sistemi tudi v rokah policije: za patruljiranje ulic, vzdrževanje javnega reda in miru, za identifikacijo občanov. Bistvena razlika: pri notranji varnosti uporaba odprtega ognja "ne pride v poštev".
Nujnost mednarodne konvencije
Tako kot so z mendarodnimi dokumenti omejene uporabe številnih orožij, kot so, denimo, kasetne bombe ali protipehotne mine, je po Svetetovem mnenju nujno, da čim prej pride do čim širšega dogovora med državami tudi o avtonomnih, smrtonosnih robotih. Od takšne zaveze sicer ne pričakuje, da bo ustavila razvoj, ampak - podobno kot pri jedrskem orožju - vsaj precej omejila klub držav srečnih imetnic.

Ko računalniški hrošč postane resna zadeva
Tako Svete kot avtor OZN-ovega poročila opozarjata na ranljivost računalnikov in programja. Kaj bi se zgodilo, če bi čez kako desetletje ali dve policijski robot na gosenicah patruljiral po ulici, nenadoma pa postal žrtev napačne programske kode. "Računalniški hrošč bi dobil povsem nov pomen. Smrtonosen," je komentiral obramboslovec. V računalniške sisteme se lahko vdira, lahko jih okužijo virusi. Kaj bi se zgodilo, če bi skupini hekerjev uspelo prevzeti nadzor nad robotskim letalstvom določene države? Zapleti so lahko hudi.

Čustva in zmotljivost
Roboti niso zmožni (so)čustvovanja, so mrtvo hladni stroji, ki slepo in neutrudno sledijo algoritmom. "Odločitve o življenju in smrti v oboroženih spopadih včasih potrebujejo sočutje in intuicijo. Ljudje imajo - ob vsej svoji zmotljivosti - vsaj ti dve zmožnosti, roboti pa ne," je zapisal Heyns.

Kljub vsemu pa imajo robotski vojaki po poročevalčevem mnenju nekaj pozitivnih lastnosti. "Ne bodo se maščevali in njihova ravnanja ne bodo podržena paniki, jezi, hudobiji, predsodkom ali strahovom." Še več, roboti se ne bodo namenoma znašali nad civilnim prebivalstvom, ne bodo požigali in posiljevali. Razen če jih ne bo kdo k temu namenoma programiral.

Pravna luknja - odsotnost odgovornosti

Ko človek ustreli drugega človeka, je za to odgovoren. Ko pa to samodejno stori robot, kdo je odgovoren? Programer? Vodja vojaške enote? Proizvajalec? Predsednik države? To je pravna luknja, ki ne zagotavlja sledenja mednarodnim standardom in konvencijam, kar lahko privede do hudih zlorab, še posebej v rokah represivnih režimov, je opozoril Heyns.
Pobuda proti ubijalskim robotom
Še pred OZN-om so se številne znane osebnosti pridružile civilni pobudi, ki si prizadeva za popolno prepoved "ubijalskih robotov". 29. maja bodo pozorno spremljali, kaj bodo predstavniki držav povedali o njihovi uporabi.
Do takrat si lahko ogledate še nekaj inženirskih rešitev, ki jih pri razvoju robotov (v sodelovanju z ameriško vojsko) razvija neko ameriško podjetje. Pri predvajanju dodajte še kakšno desetletje razvoja in dobite svet, ki nas bo naša realnost.

Humanoidni robot ATLAS premaguje ovire ...



Cheetah (Gepard) teče hitreje kot Usain Bolt:


Sand flea (Peščena bolha) skoči nad 9 metrov v zrak:


RiSE pleza po zidovih:


Brezposadkovni tank:

Z umetno inteligenco prehajamo v obdobje, ki se bo definitivno končalo z vojno med stroji. Mogoče bomo sprejemali neke dokumente, kot npr. v OZN-u, ki bodo razvoj upočasnjevali, ampak tehnično gledano, bo to zelo težko zavreti. Dejstvo je, da bo na koncu tudi vojna strojev. Čisto po znanstvenofantastičnih idejah.

Uroš Svete, obramboslovec, strokovnjak za sodobne oborožitvene sisteme

Če imamo razvito umetno inteligenco, ki ni oborožena, ki deluje sama in sama sprejema odločitve; takrat je zelo težko reči, aha, na to umetno inteligenco ne smemo namestiti orožja. Mislim, mi to lahko rečemo. Ampak učinek bo majhen.

Svete

Odločitve o življenju in smrti v oboroženih spopadih včasih potrebujejo sočutje in intuicijo. Ljudje imajo - ob vsej svoji zmotljivosti - vsaj ti dve zmožnosti, roboti pa ne. [...] Ne bodo se maščevali in njihova ravnanja ne bodo podržena paniki, jezi, hudobiji, predsodkom ali strahovom."

Christof Heyns, posebni poročevalec Sveta za človekove pravice pri OZN-u

Težava je v tem, da človek skozi vso zgodovino poskuša svoje fizične omejitve zamenjati s tehnologijo. Težava, ki se tukaj pojavi, pa je: ne glede na to, ali je ustrelil raketo na 3.000 kilometrov ali naboj na 100 metrov ali pa je uporabil sulico od blizu. Vedno je bil človek tisti, ki je stal za orožjem, ki je sprejel odločitev in nosil odgovornost. To je ključno v tem dokumentu. V primeru avtonomnim robotskih ubojnih sistemov tega ni več. Opravka imamo z umetno inteligenco, ki je sposobna samoučečega delovanja, interakcije z okoljem, z nasprotnikom, in sama potem odloča.

Svete