Vil autonome våpen si "nei" til ulovlige bestillinger?

Baynazar Mohammad Nazar var bevisstløs på operasjonstabellen da taket begynte å kollapse på ham. Faren til fire hadde sjekket inn på sykehuset den forrige dagen etter å ha blitt skutt i beinet, og ble gjennomgått sin andre operasjon om to dager for å fikse sin skade. Da amerikanerne begynte å ødelegge bygningen, hadde legene som jobbet på ham, ikke annet enn å unnslippe seg selv så fort de kunne.

Andrew Quilty på Utenrikspolitikk forteller historien om Baynazars liv og død i en artikkel som inneholder et fotografi av hans kropp som er dekket av rusk på operasjonstabellen. Baynazar var en av 31 personer USA drepte da den slo sykehuset drevet av Leger Uten Grenser (også kalt MSF) i Kunduz, Afghanistan, den 2. oktober.

Etter høyt profilerte sivile-ulykker, spør politikere og pundits hvordan slike ting kan skje, og hva som kan gjøres for å sikre at det ikke skjer igjen. Blant forutsetninger for autonome våpen systemer, noen ganger kalt "morderoboter", er et populært argument at menneskelig feil (eller ondskap) er ansvarlig for en stor grad av forbrytelsene begått under krigstid. Det er teoretisk mulig, sier de, at roboter kan være mer presise i målrettingen, og mindre utsatt for feil enn mennesker er.

"Faktisk kan menneskelig vurdering vise seg mindre pålitelige enn tekniske indikatorer i kampens hete," skriver Michael N. Schmitt, professor ved US Naval War College. "De som tror ellers har ikke opplevd krigens tåke."

USAs luftangrep på SFT-sykehus i Afghanistan "forårsaket hovedsakelig av menneskelig feil" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25. november 2015

Spørsmålet er da: Kan du programmere krigsverktøyene for å begrense menneskelig atferd for å få streiker som Kunduz sykehus bombing umulig, eller i det minste mindre sannsynlig?

Sannsynligvis ikke - i hvert fall for nær fremtid. Men noen kunstige intelligensprogrammerere har designet en robot som kan si nei til mennesker. Forsøksdesignet er enkelt: Mennesket forteller en robot å gå fremover fra et bord, som roboten først nekter å gjøre. Når mennesket forteller roboten, vil han få det, roboten aksepterer bestillingen.

Det er langt fra et semi-autonomt angrepshelikopter som forteller sitt menneskelige mannskap at den ikke kan utføre en luftvei mot et sykehus fordi det ville være en krigsforbrytelse, men den underliggende premissen er stort sett den samme. Som andre har påpekt, er menneskelig angst om denne veldig slags utviklingen i roboter vanlig i science fiction - tror HAL-9000 sier "Jeg kan ikke gjøre det, Dave" når det låser mennesket utenfor romstasjonen i 2001: En Space Odyssey.

Når det gjelder spesifikkene til Kunduz-streiken, er mange av fakta rundt angrepet fortsatt bestrøket. Leger Uten Grenser har krevd en uavhengig undersøkelse, som USAs regjering motsetter seg, i stedet lovende å utføre egne vurderinger.

Noen deler av en amerikansk undersøkelse ble offentliggjort tidligere denne måneden, og fant menneskelige og mekaniske feil som var ansvarlige for streiken. Men tidligere i uka kom to tjenestemedlemmer frem for å motsette seg rapportens funn. De sier streiken var ikke en feil. I regnskapet, først rapportert av AP, USAs spesielle operasjonskrefter kalt i streiken fordi de selv om sykehuset ble brukt som Taliban kommando- og kontrollsenter.

I den offisielle versjonen medførte en mekanisk svikt at besetningen til AC-130-gunshipen først fikk koordinater for et tomt felt. Mannskapet søkte etter en bygning i området som passer til den fysiske beskrivelsen de hadde fått, og åpnet ild. Når instrumentene ble rekalibrerte, ga de besetningen de riktige koordinatene for målet sitt, men mannskapet fortsatte å brenne på sykehuset uansett.

Hvis denne kontoen er sant - at datamaskinen var i ferd med å være nøyaktig og menneskene ignorerte den - gir den noen tro på tilhengere av større autonomi i våpen systemer. Når det er sagt, er USAs krig mot terror strøket med eksempler på militæret eller CIA som rammer det riktige målet og fortsatt havnet i å drepe et stort antall sivile. Automatisering vil ikke løse dårlig intelligens, og forsøk på å programmere en tilnærming av moral vil ikke avslutte krigsforbrytelser.

Det er en sterk fristelse i USA til å sterilisere krig og automatisering, ved å fjerne amerikanere fra skade, som er bestemt til å endre selve definisjonen av krig. Obamas preferanse for drone-drap og tilhørende forsikringer om at droner er de mest presise våpnene som noensinne er opprettet, er den klareste manifestasjonen av disse målene. "De har vært presise, presisjon slår mot al-Qaida og deres tilknyttede selskaper," sa Obama i en Google-hangout for 2012.

En 2013-regjeringsstudie kontrasterer imidlertid disse påstandene. Det fant ut at droner i Afghanistan forårsaket 10 ganger så mange sivile dødsfall som ubemannede biler. "Droner er ikke magisk bedre å unngå sivile enn jagerfly", sa Sarah Holewinski, medforfatter av studien, Vergen. "Da piloter flyrende ble gitt klare retningslinjer og trening på sivil beskyttelse, var de i stand til å redusere sivile ulykkesrater."

Militæret bruker millioner på å utvikle menneskesystemer for robotsystemer, og ytterligere slør linjene mellom oppdrag utført av bemannede eller ubemannede våpen. "Det vi ønsker å gjøre på kampanjer i menneske-maskin, er å ta det til neste nivå for å se på ting som swarming tactics," sa assisterende forsvarsminister, Bob Work, den offisielle DoD science bloggen. Kan en F-35 gå i kamp med fire ubemannede vinge?

Vil de wingmen si nei om menneskelig pilot gir dem en ordre som er analog med å gå av bord? Hva med en ordre om å ødelegge sykehus eller skole? Tåke av krig kommer til å gjelde i begge tilfeller. Og hvis vi bestemmer oss for å overstyre maskiner, vil uttrykket "menneskelig feil" være en av de mer skremmende begrepene i fremtidens konflikter.