Da anni gli esperti avvertono sull’impatto potenzialmente devastante dell’intelligenza artificiale usata in guerra. Ora abbiamo un’idea più precisa di quanto possa essere grande quell’impatto. Nel conflitto di Gaza, utilizzando Lavender, un database basato su AI, Israele avrebbe contrassegnato fino a 37mila persone come obiettivi militari.
Il database incrocerebbe informazioni di intelligence per individuare gli obiettivi da bombardare. Nel caso di Lavender è stato rivelato che il processo di autorizzazione preventiva connesso al database avrebbe accettato in alcuni casi 15-20 vittime civili per ogni bersaglio della jihad islamica o di Hamas di rango più basso, e fino a 100 per ogni funzionario di alto profilo. Sui primi sarebbero state utilizzate delle ‘dumb bomb’. Al contrario del sistema che identifica gli obiettivi, gli ordigni non sarebbero quindi intelligenti, distruggendo tutto quello che trovano. Il motivo è che sarebbero meno costosi.
Tutti dettagli rivelati dal magazine israelo-palestinese +972 (e dal giornale Local Call) e ripresa dal Guardian: le fonti del giornalista Yuval Abraham, autore dell’inchiesta, sono sei componenti dei servizi israeliani (conosciuti come Unità 8200). Secondo queste fonti, il sistema è stato utilizzato soprattutto nelle prime fasi del conflitto, portando a colpire molti palestinesi.
La stessa Israele utilizza altri sistemi AI per il conflitto, come Gospel (‘vangelo’) utilizzato per l’identificazione di edifici target. E ormai l’utilizzo dell’intelligenza artificiale nelle guerre (dall’Ucraina alla Libia nel 2021) è pervasivo, dall’intelligence alla cyberwarfare all’automatizzazione delle armi, spiega a Fortune Italia Mariarosaria Taddeo, professoressa dell’Oxford Internet Institute e filosofa specializzata nell’etica di tecnologie digitali e di difesa. Tra gli altri ruoli, Taddeo è advisor del ministero della Difesa britannico proprio sul tema AI.
“Già alcuni anni fa un sistema americano era stato utilizzato per presunti terroristi in Pakistan – SKYNET – che li doveva indentificare analizzando i dati dell’intera popolazione locale (55 milioni). Il sistema aveva un margine di errore dello 0,008%. Pare poco, ma di fatto su 55 milioni questo significa un numero altissimo di persone identificate erroneamente”, ricorda Taddeo.
Un territorio inesplorato
Le notizie che arrivano dal conflitto di Gaza portano il warfare moderno in territorio inesplorato. Un territorio dove non ci sono regole specifiche, anche a livello internazionale, e dove quelle che ci sono (le leggi umanitarie e i principi della teoria della guerra giusta) non sono di facile applicazione. “La novità principale è che c’è una tecnologia che partecipa nel processo di decisione su chi uccidere e chi no”. Alle numerose sfide etiche che l’AI porta con sé, quando usato in contesti di difesa, se ne aggiungono altre molto serie. Ad esempio il rischio di violare il principio di distinzione tra obiettivi militari e non combattenti, ma anche quello di dignità delle vittime, spiega Taddeo: è legittimo delegare la decisione sulla vita di una persona a una macchina?
AI in guerra e regole: “Non abbiamo nulla”
Lo spiega la stessa professoressa Taddeo: sulle regole per l’applicazione dell’intelligenza artificiale in ambiti di Difesa “non abbiamo nulla. Abbiamo i principi della teoria della guerra giusta che sottendono alle leggi umanitarie, ma come queste si applichino all’AI non è ancora stato discusso in maniera ampia e approfondita”. Nel 2022 è nato il board apposito della Nato (il Data and Artificial Intelligence Review Board) per lavorare “sugli standard da seguire, che verranno creati da forze delle difesa per le forze di difesa”, ma i lavori sono ancora all’inizio. E il vuoto attuale “permette sperimentazioni radicali”.
Le discussione sull’utilizzo dell’AI in guerra sono iniziate nel 2012 in Usa sulle armi autonome, “e da allora il dibattito si è polarizzato tra chi sostiene che l’uso di queste armi protegge i nostri militari e renderebbe le guerre meno cruente, e chi dice che è a rischio la dignità degli obiettivi degli attacchi”. Su questa polarizzazione, dice Taddeo, “si è fermato tutto”. Questo, per la professoressa, ha contribuito al vuoto normativo che l’opinione pubblica inizia a notare adesso.
Israele e il vaso di Pandora
Gospel e Lavender sono i coperchi di un “vaso di Pandora di cui vediamo solo il bordo: l’AI è una key capability per tutte le forze di difesa, dalla Nato alla Cina (che ha avviato un tech tranfer concedendo tecnologie d’AI alla Russia che le usa e testa in Ucraina). L’uso di questa tecnologia in difesa è destinato a diventare sempre più esteso – in termini di forze militari che la usano – e capillare in termini di funzioni d’uso. Allo stesso tempo il dibattito sulla governance dell’AI in difesa è agli arbori”.
Con la guerra in Ucraina, poi, “è caduto il tabù dell’AI in difesa, e il Paese è diventato un vero laboratorio. C’è una grandissima corsa tecnologica a fronte di un vuoto normativo totale, molto più di altri contesti”.
Prendiamo l’esempio dell’AI Act: il nuovo storico regolamento europeo dice esplicitamente che non regolamenta l’utilizzo dell’AI nella difesa. “Eppure nei conflitti attuali l’AI è un attore importante e le aziende di difesa che lavorano nel digitale, come Palantir, hanno aperto uffici a Kiev dall’inizio del conflitto ucraino. E anche in Israele – da sempre avanti nell’utilizzo dell’AI nella sicurezza, ricorda l’esperta – ricerca e business stanno fiorendo tantissimo”.
L’accuratezza di Lavender
Le notizie rilevanti su Lavender sono diverse e si collegano al conflitto iniziato dopo l’attacco di Hamas di ottobre scorso, che secondo quanto ricostruito dal Guardian avrebbe portato a cambiare i protocolli di autorizzazione ai bombardamenti di Israele, velocizzando l’approvazione degli attacchi a determinati obiettivi.
Secondo quanto riportato, all’inizio del conflitto l’intelligence israeliana ha analizzato il database: quando si è valutato che avesse raggiunto il 90% di accuratezza, è diventato operativo.
L’ultimo errore nell’identificazione di obiettivi da parte di Israele è stato appena confermato: i sette volontari della Ong americana World Central Kitchen, ha ammesso lo Stato Maggiore, sono stati uccisi per una “sbagliata identificazione” e una serie di errori nella catena di comando. Due ufficiali delle forze di difesa verranno, per questo, allontanati.
La potenza del tech bias
Il database di intelligenza artificiale, da quanto ricostruito, non può arrivare al bombardamento in completa autonomia. Ma l’operatore che approva le sue scelte impiegherebbe appena una ventina di secondi per confermare un bombardamento. Si riduce tutto a “un timbro di approvazione” apposto per decine di volte al giorno da un singolo funzionario, hanno detto fonti dell’intelligence che hanno usato il sistema al magazine israelo-palestinese.
L’AI, secondo una fonte, ha reso “più facile” la risposta all’attacco del 7 ottobre a Israele, basandosi sulla statistica invece che sul parere dei funzionari. Secondo gli esperti citati dal Guardian, l’utilizzo dell’AI spiegherebbe l’altissimo numero di vittime nei mesi di conflitto: circa 33mila persone, con 70mila edifici distrutti e 1,7 milioni di rifugiati.
Il presunto conteggio delle vittime ammesse effettuato dal processo di autorizzazione connesso a Lavender, secondo Taddeo, non è una novità: “Esistono calcoli specifici sulle operazioni cinetiche. L’obiettivo militare si acquisisce sempre con un danno potenziale, essendo un’operazione di forza. Per essere legittimabile, però, questo danno deve essere necessario, proporzionato, e seguire il principio di distinzione: non si può mettere in condizioni di rischio, in maniera intenzionale, i non combattenti”.
L’Idf ha risposto alle notizie di stampa affermando che non esiste una “policy” per l’uccisione di persone “nelle loro case”. Ma Taddeo ricorda questo non è il punto della questione e richiama invece l’attenzione sul controllo di questa tecnologia, ricordando per esempio il tech bias: la tendenza degli esseri umani ad accettare acriticamente i risultati di una macchina.
“Tutti abbiamo avuto esperienza del rischio del tech bias: chi si è messo mai messo in testa di controllare i conti della calcolatrice? Li si prende semplicemente per buoni”. Il paragone sembra azzardato, ma è valido se si considerano contesti dove le policy istituzionali “non hanno previsto uno spazio in cui si possa contraddire la macchina o dove non è previsto tempo per riflettere (venti secondi per validarne le indicazioni, in questo caso), formazione delle persone che devono prendere decisioni e policy per le eventuali decisioni sbagliate. In un contesto di difesa in cui i tempi sono accelerati e le regole di ingaggio e le gerarchie sono ben definite, il tech bias rischia di acuirsi”.
La risposta delle forze di difesa d’Israele
L’Idf (Israel defence forces) ha risposto agli articoli di +972 e Guardian, sottolineando che le forze di Hamas si nascondono tra i civili e che i bombardamenti israeliani hanno come obiettivo solo target e soggetti di tipo militare, seguendo le regole della proporzionalità e delle precauzioni degli attacchi. Gli “incidenti”, si legge nella dichiarazione delle forze di difesa di Israele riportata dal Guardian, vengono analizzati e indagati.
L’Idf dice che contrariamente a quanto riportato non vengono utilizzati sistemi di intelligenza artificiale per identificare “terroristi o per predire se una persona è un terrorista. I sistemi di informazione sono semplicemente strumenti di analisi per l’identificazione dei target, e sono gli analisti” a esaminare la situazione e a verificare che i target identificati rispettino tutti i requisiti nel rispetto delle leggi internazionali.
Il “sistema” AI, dice Israele, non è un sistema, ma solo un database per incrociare le fonti di intelligence, e non è neanche una lista di obiettivi militari confermati. “L’IDF respinge completamente l’affermazione riguardante qualsiasi policy per uccidere decine di migliaia di persone nelle loro case”.
Quello tra sistema e database è un discrimine importante? Secondo Taddeo, non molto. “Il punto non è se è un sistema AI o un foglio Excel con una macro automatica: se l’estrazione di informazioni da un database la fa una macchina, e gli esseri umano hanno poco spazio per considerare le informazioni e magari ignorarle, il fatto che si tratti di Gen AI o qualcosa di più banale non fa molta differenza. L’AI pone dei rischi specifici, ma a prescindere da questi, affidare un processo decisionale così delicato a una macchina è di per sé molto problematico”.
Il punto è che si sta realizzando quello che gli “accademici dicono da venti anni, il potenziamento delle capacità di difesa e offesa dato dall’AI senza adeguate regole. Una tendenza preoccupante, perché l’AI non è uno strumento perfetto, ha una prevedibilità limitata: non possiamo prevederne gli output in maniera certa e quindi ne abbiamo un controllo limitato, pone problemi etici che vanno dalla discriminazione ingiustificata (bias) al vuoto di responsabilità. In più l’AI non è una tecnologia sicura: è possibile attaccarla per farla funzionare in maniera diversa da quello che si desidera. È preoccupate perché per le democrazie liberali, l’uso dell’AI in difesa rischia di essere il caso in cui la democrazia sconfigge se stessa, violando i principi e i valori fondamentali”.
