Una ricerca del governo americano suggerisce che gli algoritmi di riconoscimento facciale siano molto meno accurati nell’identificare i volti afroamericani e asiatici rispetto ai volti caucasici. Una prova del rischio sociale di tale tecnologia. Eccone i dettagli.

Inoltre secondo questo studio, le donne afro-americane avrebbero ancora più probabilità di essere identificate erroneamente. Ciò pone nuovi dubbi sul fatto che tale tecnologia possa o debba essere utilizzata dalle forze dell’ordine.

Un critico ha definito i risultati “scioccanti”: il software di fatto ha risultati diversi in base a sesso, età e etnia. Questi parametri che sono sempre stati alla base di disuguaglianze che, se umane, vengono definite pregiudiziali, ora sono prodotte dalla macchina e possono riprodurre vecchie ingiustizie colpendo le stesse minoranze etniche precedentemente discriminate. Anche se non sono basate su odio o pregiudizi umani gli effetti, se impiegati nel settore pubblico, potrebbero essere uguali se non peggiori.

Il National Institute of Standards and Technology (Nist) ha testato 189 algoritmi di 99 sviluppatori, la maggior parte del mercato di tali software, tra cui Intel, Microsoft, Toshiba e le aziende cinesi Tencent e DiDi Chuxing.

Genere e razza

Amazon – che vende il suo prodotto di riconoscimento facciale Rekognition alle forze di polizia statunitensi – non ne ha voluto sottoporre alcuno a questa revisione. Il gigante della vendita al dettaglio aveva precedentemente definito uno studio del Massachusetts Institute of Technology “fuorviante”. Quel rapporto aveva suggerito che il Rekognition si comportava male quando si trattava di riconoscere le donne con pelle più scura.

In particolare secondo questo nuovo studio, quando si abbina una particolare foto a un’altra della stessa faccia, nota come corrispondenza uno a uno, molti degli algoritmi testati identificano falsamente i volti afroamericani e asiatici tra le dieci e le 100 volte più di quelli caucasici. E le donne afro-americane hanno maggiori probabilità di essere identificate erroneamente nel cosiddetto abbinamento uno-a-molti, che confronta una particolare foto con molte altre in un database.

Il deputato Bennie Thompson, presidente del comitato della Camera sulla sicurezza interna degli Stati Uniti, ha dichiarato a Reuters: “L’amministrazione deve rivedere i suoi piani per la tecnologia di riconoscimento facciale alla luce di questi risultati scioccanti”. Lo scienziato informatico,  fondatore della Algorithmic Justice League, Joy Buolamwini ha definito il rapporto “una confutazione globale” per coloro che affermano che i pregiudizi nei software di intelligenza artificiale non sono un problema.

Gli algoritmi nello studio Nist sono stati testati su due tipi di errore:

1. falsi positivi, in cui il software considera erroneamente che le foto di due persone diverse mostrano la stessa persona;
2. falsi negativi, in cui il software non riesce a far corrispondere due foto che mostrano la stessa persona.

Il software utilizzava le foto dei database forniti dal Dipartimento di Stato, dal Dipartimento per la sicurezza interna e dall’FBI, senza immagini da social media o videosorveglianza. “Sebbene di solito non sia corretto fare dichiarazioni trasversali sugli algoritmi, abbiamo trovato prove empiriche dell’esistenza di differenziali demografici nella maggior parte degli algoritmi di riconoscimento facciale che abbiamo studiato”, ha affermato Patrick Grother, un informatico della Nist e autore principale del paper.

Bug e potere

“Mentre non esploriamo ciò che potrebbe causare questi differenziali, questi dati saranno preziosi per i responsabili delle politiche, gli sviluppatori e gli utenti finali nel pensare ai limiti e all’uso appropriato di questi algoritmi”. Una delle aziende cinesi, SenseTime, i cui algoritmi sono stati trovati inesatti, ha affermato che questo era il risultato di “bug” che ora erano stati risolti.

“I risultati non riflettono i nostri prodotti, in quanto sottoposti a test approfonditi prima di entrare nel mercato. Ecco perché le nostre soluzioni commerciali segnalano un alto grado di precisione”, ha detto un portavoce alla BBC. Diverse città degli Stati Uniti, tra cui San Francisco e Oakland in California e Somerville, nel Massachusetts, hanno già vietato l’uso della tecnologia di riconoscimento facciale. Le tecnologia di riconoscimento facciale sembrano essere il primo luogo in cui la convergenza tra diversi sviluppatori, diversi modelli di sviluppo e ideologie, l’impatto sui diritti civili e le questioni legate alla sicurezza nazionale stiano generando un conflitto di valori.

Sembra essenziale monitorare il tema: come risponderemo alla questione orienterà la nostra attitudine a considerare queste tecnologie e a gestirne politicamente il loro impiego. Da parte di chi scrive suona forte più che mai l’appello che questo blog rivolge ai suoi lettori: abbiamo bisogno di un’algo-etica se non vogliamo dover lottare contro severe forme di algo-crazia.

Articolo ripreso dal blog dell’autore nel quadro della collaborazione fra il prof. Benanti e SettimanaNews.