Kenneth Glad
Tekniken hanterar nu tyst otaliga val i den moderna världen. Men när automatiserade verktyg tar över alltmer kritiska uppgifter står samhället inför en skarp fråga om var mjukvarans makt bör sluta.
I över tio år har regeringar samlats i Genève för att utarbeta regler för autonoma vapen. I september möttes delegater från 128 nationer för att upprätta ett bindande avtal om automatiserade vapen, enligt Kenneth Roth, tidigare chef för Human Rights Watch, i The Guardian.
Trots detta arbetade representanter utsända av Donald Trump och Vladimir Putin för att försvaga viktiga skyddsåtgärder. De urvattnade särskilt en bestämmelse som krävde att mänskliga operatörer skulle granska militära måltavlor skapade av mjukvara innan anfall inleddes.
Medan globala debatter fokuserar på futuristiska mördarrobotar väljer mjukvaruautomation redan vem som lever och dör i pågående konflikter.
I Gaza har militära styrkor använt en algoritm kallad Lavender för att spåra telefonanvändningsmönster och identifiera misstänkta militanter, säger Roth. Ett annat program kallat Where’s Daddy spårade sedan dessa individer till deras familjehem, vilket lämnade släktingar som oavsiktliga offer.
En gummistämpel
I tidigare militära operationer genomgick målvalen en noggrann granskning innan befälhavare godkände ett anfall. Men efter Hamas attack den 7 oktober sopades dessa traditionella skyddsåtgärder undan av en överväldigande efterfrågan på måltavlor. Datorsystem valde ut kandidater och vidarebefordrade dem till underrättelseofficerare, som sedan skickade dem direkt till fältenheter som utförde attackerna.
Detta snabba arbetsflöde reducerade mänsklig tillsyn till en snabb formalitet. Underrättelseofficerare godkände rutinmässigt datorrekommendationer utan att ifrågasätta dem.
En officer mindes att han hanterade dussintals filer varje dag och ägnade bara tjugo sekunder åt varje val. ”Jag hade inget mervärde som människa, förutom att vara en godkännandestämpel”, förklarade officeren och noterade att den automatiserade inställningen sparade enorma mängder tid.
Viss personal försvarade praxis och hävdade att mjukvara förhindrar mänsklig sorg och ilska från att grumla beslut under krig. Som en soldat uttryckte det: ”Jag har mycket större förtroende för en statistisk mekanism än för en soldat som förlorade en vän för två dagar sedan.”
Avtagande mänsklig kontroll
Datorprogram återspeglar dock oundvikligen de antaganden och regler som deras mänskliga skapare har fastställt. Programmerare bestämmer hur mycket bevis som behövs för att klassificera någon som en måltavla och vilken felmarginal som tolereras. Även militära uppskattningar medgav att cirka 10 procent av de utpekade individerna inte alls var kombattanter, enligt Roths kolumn.
Befälhavare visade också en vilja att acceptera stora oavsiktliga skador, vilket tillät upp till 20 civila dödsfall för en enda lågprofilerad misstänkt. Juridiska experter anser sådana proportioner olagliga enligt internationella humanitära proportionalitetsregler. Israels president Isaac Herzog återspeglade detta tankesätt när han hävdade att ”en hel nation där ute” var ansvarig.
Detta klimat uppmuntrar vad Internationella rödakorskommittén kallar ”automationsbias”, där operatörer litar på datorutdata utan tillräcklig ifrågasättande. Mjukvarans auktoritativa precision vaggar personalen in i självbelåtenhet, vilket framkallar vad Roth beskrev som ”ondskans banalitet” när vanliga soldater blint litar på ”systemet”.
Utan intensivt ifrågasättande och verklig ansvarsskyldighet från befälhavare riskerar automatiserade system att förvandla dödliga militära val till en kall, mekanisk rutin.
Källa: The Guardian
