Negli USA si registra un sempre maggiore utilizzo delle AI per il sistema giudiziario e penitenziale. Algoritmi di calcolo del rischio di recidiva – risk assestment – utilizzando i dati passati se aiutano e velocizzano il sistema penale dall’altro possono semplicemente perpetrare errori o pregiudizi passati. Cosa fare?

Se l’uso che facciamo dei sistemi di intelligenza artificiale è limitato agli algoritmi che animano il machine learning per i feed di notizie di Facebook o i risultati di ricerca in google, questa potrebbe non avere un enorme impatto personale. Tuttavia alla conferenza Data for Black Lives, tenutasi prima settimana di maggio, tecnologi, esperti legali e attivisti della comunità informatica hanno voluto guardare all’AI in prospettiva mettendo in piedi un confronto sul sistema di giustizia penale americano. In questo ambito un algoritmo può determinare la traiettoria della vita di una persona.

Qualche dato

Gli Stati Uniti imprigionano più persone di qualsiasi altro paese al mondo. Alla fine del 2016, quasi 2,2 milioni di adulti erano detenuti in carceri o prigioni e altri 4,5 milioni erano in altre strutture correzionali. In altre parole, nel 2016, 1 adulto ogni 38 americani era sotto una qualche forma di supervisione correzionale. L’incubo di questa situazione è uno dei pochi problemi che uniscono i politici di ogni schieramento.

Vi è un’enorme pressione per ridurre il numero di prigioni senza rischiare un aumento della criminalità. Per questo le corti degli Stati Uniti si sono rivolte a strumenti automatizzati nel tentativo di gestire gli imputati attraverso il sistema legale in quello che ritengono il modo più efficiente e sicuro possibile. È qui che inizia la parte affidata all’intelligenza artificiale di tutta la questione.

 AI e criminalità

I dipartimenti di polizia utilizzano algoritmi predittivi per definire strategie su dove inviare le pattuglie in servizio. Le forze dell’ordine utilizzano sistemi di riconoscimento facciale per aiutare a identificare i sospetti. Queste pratiche hanno richiesto un necessario esame per capire se e come effettivamente migliorino la sicurezza o se semplicemente perpetuino delle disuguaglianze già esistenti nel sistema sociale.

I ricercatori e i difensori dei diritti civili, ad esempio, hanno ripetutamente dimostrato che i sistemi di riconoscimento facciale possono fallire in modo spettacolare, in particolare per gli individui che non sono di etnia caucasica.

Un celebre caso ha meritato la cronaca quando un AI ha scambiato dei membri del Congresso per criminali condannati.

Ma lo strumento più controverso, che sta pian piano irraggiando il sistema giuridico USA, interviene di gran lunga dopo che la polizia ha arrestato qualcuno. Si stanno diffondendo degli algoritmi di valutazione del rischio criminale.

Gli strumenti di valutazione del rischio sono progettati per fare una cosa: prendere in considerazione i dettagli del profilo di un imputato e dare un punteggio di recidiva: un numero singolo che stima la probabilità che lui o lei tornerà a commettere un crimine.

Un giudice quindi utilizza il punteggio per una miriade di decisioni: quale tipo di servizi di riabilitazione dovrebbero ricevere particolari imputati, se dovrebbero essere tenuti in custodia prima del processo e quanto gravi dovrebbero essere le loro condanne. Un punteggio basso apre la strada per un esito più lieve. Un punteggio elevato fa esattamente il contrario.

La logica per l’utilizzo di tali strumenti algoritmici è che se è possibile prevedere con precisione il comportamento criminale, è possibile allocare le risorse di conseguenza, sia per la riabilitazione che per le pene detentive. In teoria, riduce anche qualsiasi pregiudizio che influenza il processo, perché i giudici stanno prendendo decisioni sulla base di raccomandazioni basate sui dati e non sul loro istinto.

A questo punto però appare evidente qual’è il problema fondamentale di questi sistemi. Gli strumenti di valutazione del rischio che utilizziamo oggi sono spesso guidati da algoritmi addestrati su dati storici connessi al crimine.

Come già detto in altri post, gli algoritmi di apprendimento automatico utilizzano le statistiche per trovare schemi nei dati. Quindi, se si danno “in pasto” dei dati storici sulla criminalità a un algoritmo, questo sceglierà i modelli associati al crimine. Ma questi schemi sono correlazioni statistiche, in nessun caso le correlazioni individuate sono forme di causazione.

Piove?

Cerchiamo di spiegare questa differenza. Partiamo da una domanda quotidiana: “Piove?”. Una risposta basata su un’analisi scientifica tradizionale si fonda sulla causazione. La scienza, in particolare la metereologia, ci dice che una nube è formata da miliardi di goccioline d’acqua, ciascuna delle quali è a sua volta formata da circa 550 milioni di molecole d’acqua. Queste goccioline sono il risultato dell’evaporazione dell’acqua da oceani, mari, corsi d’acqua dolce, vegetazione e suolo. Il vapore acqueo viene quindi portato verso l’alto da correnti ascendenti; salendo, l’aria si raffredda e raggiunge la saturazione.

Tuttavia questo non è sufficiente per provocare la condensazione del vapore, dato che la goccia d’acqua formatasi tende a sua volta ad evaporare. In condizioni normali non si potrebbe avere la condensazione del vapore e quindi la formazione di nubi, neanche in presenza di sovrasaturazioni del 500%. Fortunatamente, nell’aria sono presenti particelle di pulviscolo atmosferico e cristalli di ghiaccio che agiscono come “nuclei igroscopici” o “di condensazione” (di dimensioni comprese tra 0,1 e 4 µm) che promuovono e agevolano la trasformazione di stato delle particelle di vapore.

Le precipitazioni e quindi la pioggia possono avvenire però solo quando la forza peso risulterà maggiore della resistenza offerta dal moto ascendente che ha portato alla formazione della nube stessa e che tende a mantenere le goccioline in sospensione. Occorrono centinaia di milioni di goccioline di nube per formare una goccia di pioggia del diametro compreso tra 200 µm e qualche millimetro. I due principali meccanismi di formazione sono l’accrescimento per coalescenza e il processo Bergeron-Findeisen.

Nonostante il meccanismo di formazione della pioggia sia sempre pressoché lo stesso, le cause dell’innesco di questo fenomeno possono avere varie origini:

• lo scontro tra fronti caldi e freddi che provoca un moto ascendente di aria umida, che raggiunge quindi il punto di rugiada e inizia il processo di coalescenza.
• la pioggia convettiva, causata da un forte riscaldamento del suolo diurno che provoca un moto convettivo di umidità anche molto intenso che può scatenare temporali, in genere limitati ad un’area geografica circoscritta.
• il sollevamento orografico per via della morfologia del terreno che obbliga aria umida a risalire e quindi scaricare l’acqua sotto forma di pioggia. È tipico in questo caso la formazione di un’ombra pluviometrica.
• grandi eventi atmosferici che periodicamente provocano la pioggia, come i monsoni o i cicloni tropicali.

Capito questo per poter rispondere alla domanda di cui sopra basterà vedere dove si generano quelle cause e tolte le cause togliamo l’effetto. Se per le questioni meteorologiche individuare le cause è più semplice parlando di fenomeni regolati da relazioni, per quanto complesse, matematiche e strettamente deterministiche, per il comportamento umano questo da sempre è risultato assai arduo.

Grazie alla correlazione alla domanda “Piove?” possiamo rispondere in maniera diversa. Se possiamo avere i dati di apertura degli ombrelli possiamo rispondere: “Piove dove ora si stanno aprendo gli ombrelli”. E se questi dati storici sono sufficienti possiamo anche fare delle previsioni sul comportamento della pioggia. Il punto però è che non c’è modo solo correlando i dati di rispondere a una domanda sulla causa. In altri termini non sappiamo se sono gli ombrelli che si aprono che causano la pioggia o se la pioggia causa l’apertura degli ombrelli.

Se siamo disposti a non interrogarci sulle cause la correlazione ci può però fornire risposte su dove sta accadendo un fenomeno. Questo è un tipo di risposta che può aiutare molto per altri tipi di domande. Per esempio se sono un venditore ambulante di ombrelli questa informazione mi aiuta ad incrementare il mio business. Se faccio il fisico dell’atmosfera la correlazione ombrello e pioggia però non aumenta la mia conoscenza dell’atmosfera.

Il sistema carcerario statunitense

Se un algoritmo ha trovato, ad esempio, che il reddito basso è correlato con un’elevata recidiva, nessuno pensa che il basso reddito abbia effettivamente causato il crimine. Ciascuno può richiamare alla memoria numerose persone che, anche con reddito basso, vivono vite dignitose e più che oneste. Ma questo è esattamente ciò che fanno gli strumenti di valutazione del rischio: trasformano le intuizioni correlative in meccanismi di punteggio causale.

Ora le popolazioni che storicamente sono state colpite in modo sproporzionato dalle forze dell’ordine, specialmente quelle a basso reddito e minoritarie, sono a rischio di essere ulteriormente oltraggiate e vessate con punteggi di recidiva elevati. Di conseguenza, l’algoritmo potrebbe amplificare e perpetuare i pregiudizi incorporati nei dati e generare dati ancor più distorti alimentando così un circolo vizioso.

Poiché la maggior parte degli algoritmi di valutazione del rischio sono proprietari, e quindi inaccessibili alla loro struttura computativa per la tutela della proprietà intellettuale, è anche impossibile mettere in questione le loro decisioni o renderle responsabili.

Il dibattito su questi strumenti infuria ancora. Lo scorso luglio, oltre 100 tra attivisti dei diritti civili e organizzazioni a sostegno delle comunità e delle minoranze, tra cui l’ACLU e la NAACP, hanno firmato una dichiarazione che esorta a non utilizzare la valutazione del rischio nel percorso penale. Allo stesso tempo, sempre più giurisdizioni e stati, tra cui la California, si sono rivolti a questi strumenti sperando di poter sistemare le carceri sovraffollate e un sistema giudiziario e correttivo al limite.

Se mal utilizzata o implementata senza un’adeguata valutazione etica e sociale, la valutazione del rischio basata sui dati potrebbe essere un modo per ripulire e legittimare dei sistemi oppressivi. In questo senso, per esempio, è da leggere la denuncia di Marbre Stahly-Butts, direttore esecutivo di Law for Black Lives che ha detto sul palco di una conferenza, che è stata ospitata al MIT Media Lab. È un modo per distogliere l’attenzione dai problemi reali che interessano le comunità a basso reddito e minoritarie, come le scuole private e l’inadeguato accesso all’assistenza sanitaria.

Come minoranze e popolazioni svantaggiate, ha detto Stahly-Butts: “Non siamo rischi. Siamo bisogni”. Ancora una volta appare evidente che per gestire questa frontiera dell’innovazione abbiamo bisogno di strumenti epistemologi adeguati e di un algor-etica che dia forma ad algoritmi responsabili.

Articolo ripreso dal blog dell’autore, docente di bioetica e biotecnologie alla Gregoriana.