«La matematica è stata il mio rifugio ordinato dal disordine della vita reale». Confessione di Cathy O’Neil, un dottorato in matematica a Harvard e un passato nel mondo della finanza a Wall Street, che si occupa oggi di equità degli algoritmi, dopo aver fondato la ORCAA (O’Neil Risk Consulting and Algorithmic Auditing), proprio per la valutazione dell’equità e più in generale della qualità degli algoritmi.

Nell’agosto 2016, O’Neil ha pubblicato (per Crown Random House) il suo secondo libro, esito di un personale «viaggio verso la disillusione». Il titolo del volume è un gioco di parole: Weapons of math destruction (armi di distruzione matematica), che richiama le Weapons of mass destruction (armi di distruzione di massa). Il sottotitolo è piuttosto eloquente: «How big data increases inequality and threatens democracy» (come i Big Data aumentano la diseguaglianza e minacciano la democrazia).

La svolta del percorso di O’Neil è la crisi finanziaria del 2008, che segna il suo abbandono del mondo della finanza quantitativa (aderirà al movimento Occupy Wall Street) per dedicarsi alla sua attività di denuncia: i modelli matematici predittivi, che in modo sempre più pervasivo vanno diffondendosi nelle attività umane come sostegno alle decisioni, se usati senza criteri di verifica e con una confidenza ingenua possono rivelarsi delle pericolose «armi di distruzione» e minacciare il tessuto democratico delle società occidentali, aumentando le disuguaglianze e diminuendo la trasparenza. «Il crollo rese fin troppo chiaro che la matematica, una volta il mio rifugio, non solo era profondamente coinvolta nei problemi del mondo, ma alimentava anche molti di loro».

Pervasivi e iniqui

Quanto O’Neil documenta è che tali algoritmi di sostegno alla decisione non sono affatto neutrali ma riflettono gli obiettivi e le ideologie di coloro che li scrivono. Dalle graduatorie universitarie al posizionamento più o meno felice di una domanda di lavoro online, dal calcolo del rischio finanziario di una determinata operazione alla valutazione dei docenti di una scuola, dall’organizzazione di una campagna elettorale a quella dei turni di lavoro di una fabbrica, dalla scelta delle pubblicità che una certa persona vedrà navigando su Internet alle notizie che la stessa troverà in evidenza nella sua pagina Facebook, gli algoritmi giocano un ruolo crescente nella vita delle nostre società.

Tali algoritmi si rivelano però uno strumento particolarmente insidioso e non senza problemi da un punto di vista etico. Ammantandosi di quell’aurea di oggettività che si attribuisce esclusivamente alle formule e ai numeri, essi parrebbero strumenti in grado di correggere le debolezze del ragionamento umano. E tuttavia, come O’Neil dimostra bene, gli algoritmi sono in realtà delle «opinioni tradotte in matematica» («opinions embedded in mathematics») e integrano le visioni (e anche i pregiudizi) di coloro che sviluppano i modelli matematici (successivamente tradotti in codice).

Altro problema: essi tendono a reiterare le ingiustizie già presenti nel tessuto della società. Osservando i fenomeni sociali attraverso la mole enorme di dati oggi disponibile (Big Data), i modelli matematici «apprendono» di fatto le ingiustizie e le fissano negli algoritmi, che le ripeteranno confermandole e, anzi, aumentando le diseguaglianze.

Sarah Wysocki

Il volume inizia con un caso paradigmatico. Nel 2011, Sarah Wysocki conclude il secondo anno da insegnante in una scuola media di Washington D.C.; è apprezzata da tutti (studenti, genitori, dirigenti), eppure si ritrova inspiegabilmente licenziata.

La decisione consegue dai risultati di un programma di valutazione introdotto nel tentativo di riformare il sistema scolastico. Esso assegna a ciascun insegnante un punteggio calcolato per metà in base all’osservazione di esperti durante le lezioni in classe e per metà da un software che – combinando numerosi fattori – intenderebbe stabilire quanta parte del progresso scolastico di ciascuno studente sia da attribuire all’insegnante. Non senza problemi, però. Anzitutto, il fatto di pesare molto i voti dei test di profitto dell’anno precedente. E poi, l’estrema semplificazione con cui si valuta l’impatto delle vicende personali e familiari sull’andamento scolastico.

Sarah Wysocki in una scuola di Fairfax Country

Volendo conoscere il modo in cui era stato calcolato il suo punteggio, Wysocki scopre che il funzionamento dell’algoritmo è sostanzialmente impenetrabile. Il suo sospetto, che agli studenti della sua classe fossero stati assegnati ad hoc dei voti sopra la media nell’anno precedente, trova conferma in un’inchiesta di USA Today (che rivela come in almeno 70 scuole del distretto i test erano stati truccati). Un esempio di feedback negativo generato dall’algoritmo, per cui gli insegnanti modificano i loro comportamenti per conformarsi a quanto è premiato. Wysocki non riesce poi a far riconsiderare la sua situazione. Ecco il paradosso: gli uomini devono dare prove di affidabilità molto più severe di quelle chieste a un algoritmo.

Polizia predittiva

Altro esempio illuminante è quello dei cosiddetti software di «polizia predittiva». O’Neil riporta il caso della città di Reading in Pennsylvania, tra le più povere del paese. Nel 2011, per contenere la crisi, vengono tagliate 45 unità del corpo di polizia e per far fronte alla riduzione del personale si investe, nel 2013, in un software di previsione del crimine sviluppato dalla californiana PredPol. In un anno i furti si riducono effettivamente del 23%. Ma è un successo che ha i suoi lati oscuri.

Il software funziona, infatti, sfruttando dei Big Data nei quali vengono registrati nel dettaglio gli eventi criminosi per genere e area geografica. Questi dati sono poi utilizzati per prevedere dove è più probabile che si verifichi il prossimo evento. Il funzionamento su base geografica finisce così per concentrare gli agenti di polizia in quelle aree delle città (o del paese) già abitate dai gruppi sociali più marginali, riempiendo di conseguenza le carceri di giovani afro-americani e ispanici colpevoli di reati minori (piccoli furti, spaccio ecc.). Il «successo» (ovvero, l’arresto del colpevole) sarà utilizzato come conferma della bontà del software, ma avrà ottenuto il contro effetto di aumentare la ghettizzazione di fasce sociali già in difficoltà.

Il sistema di polizia predittiva PredPol

Non è finita. Una volta in carcere, l’imputato sarà processato ed è probabile che incontri un nuovo algoritmo «iniquo». Negli Stati uniti, dal 1995, esiste infatti un questionario per i detenuti con domande riguardanti condanne passate, dipendenza da droga e alcol, o anche semplici perquisizioni. Sulla base dei dati raccolti, un modello matematico (il Risk Recidivism Model) calcola un indice chiamato «rischio di recidiva» (risk recidivism score), il quale dovrebbe stimare il grado di possibile reiterazione del reato da parte del detenuto. Il calcolo può essere utilizzato sia per decidere il programma rieducativo sia – molto peggio – per aiutare il giudice a stabilire la durata della pena. Pena più lunga significherà maggiore difficoltà di reinserimento e dunque maggiore probabilità di ripetere il reato. Quando il reo tornerà in carcere il suo «rischio di recidiva» sarà ancora maggiore e così via. L’algoritmo può dunque rivelarsi una profezia che si auto adempie.

«La democrazia è molto più che un sistema a due partiti. È una pubblica opinione informata e questo è oggi a rischio», scrive O’Neil. Gli algoritmi – sempre più diffusi – «stanno rendendo sempre più difficile avere una buona informazione» sulla realtà. Non si dovrebbe mai dimenticare che simili algoritmi utilizzano osservazioni statistiche di fenomeni sociali, ma che le decisioni prese incidono sulla vita concreta dei singoli. Per questo non è possibile farvi affidamento in modo ingenuo. La matematica può servire il bene comune. Ma i modelli «devono rimanere strumenti; non divenire padroni».