«Un sistema di armi autonomo non può mai essere un soggetto moralmente responsabile. La capacità unicamente umana di giudizio morale e di decisione etica è più di una complessa serie di algoritmi e tale capacità non può essere sostituita da, o programmata in una macchina. L’applicazione di regole o principi richiede una comprensione dei contesti e delle situazioni che va molto oltre le capacità degli algoritmi. … Qualcosa di più della semplice applicazione di una logica consequenziale, è qualcosa che eccede la pura manipolazione di regole formali e codificate», così l’osservatore permanente della Santa Sede all’ONU, mons. Ivan Jurković, in un discorso a Ginevra il 9 aprile 2018.

Il testo

Il giudizio complessivo espresso dalla COMECE nella riflessione sui sistemi d’arma autonomi coincide sostanzialmente. Il testo diffuso il primo luglio porta un titolo in positivo (Technology at the service of peace), si costruisce attorno a una riflessione riccamente articolata, conclude con un giudizio negativo: «I sistemi armati completamente autonomi senza supervisione umana nello svolgimento delle funzioni critiche devono essere proibiti. In linea con il Parlamento Europeo,[1] l’UE e i suoi Stati membri dovrebbero “lavorare all’avvio dei negoziati internazionali per uno strumento giuridicamente vincolante che vieti i sistemi d’arma autonomi”» (Raccomandazione X; gli attributi del testo come in originale inglese, ndt).

Il testo è frutto di un gruppo di lavoro costituito ad hoc e guidato dal prof. Dominique Lambert, lo stesso che ha trattato ampiamente l’argomento sulla Revue d’étique e de Théologie morale (RETM) nel n. 299 (settembre 2018) (vedi il ragionato commento di Lorenzo Prezzi Nuove armi, nuove guerre – e un singolare kairos su queste stesse pagine).

Considerazioni etiche

La riflessione mette in evidenza alcuni rischi potenziali di carattere giuridico, etico e perfino funzionale associati ai sistemi d’arma autonomi (codificati nell’acronimo LAWS), che distingue fra:

• Macchina a controllo remoto da parte di un operatore umano;
• Sistema d’arma automatico, che può operare senza controllo umano all’interno di confini operativi stabiliti da un’autorità umana;
• Sistema d’arma autonomo, in grado di identificare, selezionare e attaccare autonomamente un obiettivo; imparare dall’esperienza e riprogrammare autonomamente se stesso (UAS, Uncrewed Armed System).

Il criterio del giudizio espresso valuta non tanto il livello di autonomia del sistema, ma il livello del controllo umano ultimo del sistema: «La valutazione del fatto che i sistemi d’arma autonomi siano, da una prospettiva etica, accettabili o meno deve essere basata su una conoscenza precisa della loro capacità di essere sottoposti a controllo umano».

Rischi derivati

La possibilità di utilizzare sistemi d’arma autonomi comporta alcuni rischi indiretti.

• Ad bellum: saper di poter utilizzare equipaggiamenti relativamente poco costosi e senza l’impiego di soldati può incentivare il ricorso al conflitto armato;
• In bello: la consapevolezza del possibile ricorso ai droni, già oggi può indurre a proteggere i posti di comando militari dietro a ospedali o scuole, così come l’intervento da lontano, “senza sporcarsi”, può provocare eccessi di reazione e incoraggiare il terrorismo nei territori dai quali è partito l’attacco;
• Post bellum: il ritorno della pace al termine delle ostilità non è automatico e comporta la stabilizzazione di rapporti politici e diplomatici, che potrebbero trovarsi ostacolata dalla presenza di tecnologia di sorveglianza permanente.

Una serie ulteriore di rischi è correlata alla vulnerabilità del software che governa i sistemi; è sempre passibile di azioni di hackeraggio o di ricatto.

«In un contesto in cui un numero crescente di Stati membri dell’UE sta già dispiegando o considerando di utilizzare diversi tipi di sistemi d’arma autonomi, e mentre l’Unione Europea sta destinando ingenti risorse finanziarie per sostenere la ricerca sulle tecnologie di difesa automatizzate, si dovrebbe prendere in esame, nell’ambito delle rispettive competenze, un quadro normativo comune sullo sviluppo, la proliferazione e l’uso di sistemi d’arma autonomi. Alla luce della potenziale sicurezza, delle implicazioni giuridiche ed etiche di cui sopra, è di fondamentale importanza che i sistemi d’arma autonomi rimangano sotto il controllo delle autorità statali e non siano delegati ad altri soggetti, come gli appaltatori privati».

In conclusione: «Dovrebbe essere messo in atto un processo di riflessione strategica sugli obiettivi a lungo termine della politica europea di sicurezza e di difesa» (Raccomandazione XI).

[1] Cf. Risoluzione del 12 settembre 2018 sui Sistemi d’arma autonomi.