Lo scorso mercoledì 21 aprile la Commissione Europea ha presentato un quadro giuridico per regolare l’uso dell’intelligenza artificiale nell’Unione. Si tratta di una proposta che verrà valutata dal Consiglio d’Europa e dal Parlamento nei prossimi due anni e diventerà Regolamento non prima del 2023. Da quel momento, ciascuno degli stati membri dovrà adeguare le proprie leggi nazionali per rispettarne i contenuti.

Contesto e scopo

L’approccio della Commissione è quello di regolare i sistemi di IA sulla base del contesto e dello scopo con cui vengono utilizzati. A questo scopo vengono definiti tre livelli di rischio, basso, medio e alto, e una quarta categoria definita di «rischio inaccettabile», che contiene le applicazioni vietate. Tra queste ci sono i sistemi di social scoring, quegli algoritmi che raccolgono i dati digitali dei cittadini (per esempio i loro acquisti online) e li usano per calcolare un punteggio di affidabilità che può influenzare l’accesso all’istruzione o a strumenti di sostegno al reddito. In Cina esistono delle sperimentazioni in questo senso.

Le altre due applicazioni che diventerebbero illegali se la proposta venisse accettata così com’è, sono quelle che manipolano i comportamenti delle persone sfruttando le loro vulnerabilità, soprattutto in campo politico, e l’utilizzo di sistemi di riconoscimento facciale in luoghi pubblici da parte delle forze dell’ordine.

L’uso di questa tecnologia da parte delle forze dell’ordine ha raccolto molte critiche negli ultimi anni e portato qualche cambiamento. Sono innumerevoli ormai gli episodi di discriminazione e di violazione dei diritti fondamentali connessi al riconoscimento facciale automatico.

Pregiudizi codificati

L’ultimo in ordine di tempo è quello che ha coinvolto Robert Williams, arrestato dalla polizia di Detroit il 9 gennaio 2020 nel vialetto di casa sua davanti alla moglie e alle figlie con l’accusa di aver rubato degli orologi in una gioielleria di lusso. Dopo aver trascorso la notte in cella, è stato interrogato e gli agenti gli hanno mostrato il video del furto. L’uomo nel video non era Williams: l’unica cosa che avevano in comune era essere afroamericani. Williams è stato rilasciato.

La scorsa settimana, con l’aiuto della University of Michigan e della no profit ACLU, ha fatto causa al Detroit Police Department per aver violato il quarto emendamento alla costituzione degli Stati Uniti (che vieta perquisizioni e arresti immotivati e senza mandato) e chiede che il dipartimento non utilizzi più la tecnologia di riconoscimento facciale. Il documentario Coded Bias, di cui avevamo parlato due settimane fa, racconta la storia di uno dei primi studi che hanno dimostrato che questi sistemi sono meno efficaci sulle donne e le persone non bianche.

La decisione della Commissione di bandire questi sistemi sembra quindi rispondere alle richieste di tante organizzazioni e attivisti, ma è stata criticata perché prevede delle eccezioni, sia nell’utilizzo da parte delle istituzioni, per esempio nel caso della ricerca di bambini scomparsi o durante attacchi terroristici, che da parte di soggetti privati.

«Le eccezioni per i sistemi di sorveglianza statale guidati dall’intelligenza artificiale creeranno problemi ai diritti umani e ai difensori della privacy», scrive su The Conversation Bernd Carsten Stahl, direttore dello Observatory for Responsible Research and Innovation in ICT promosso dallo UK Engineering and Physical Sciences Research Council e professore alla De Montfort University.

L’organizzazione «Algorithm Watch» osserva che i rischi per i diritti fondamentali che le tecnologie di riconoscimento facciale comportano non sono limitati al loro utilizzo da parte delle forze dell’ordine. «Un fatto che la proposta non riflette a sufficienza». Dello stesso avviso, in particolare riguardo l’uso del riconoscimento facciale in luoghi pubblici, è lo European Data Protection Supervisor, che in un comunicato stampa scrive: «Continueremo a sostenere un approccio più rigoroso al riconoscimento automatizzato negli spazi pubblici […] indipendentemente dal fatto che siano utilizzati in un contesto amministrativo o commerciale o sa parte delle forze dell’ordine».

Un altro limite della proposta viene individuato nel linguaggio utilizzato per riferirsi alle tecnologie di riconoscimento facciale. La bozza della Commissione parla infatti di «sistemi di identificazione biometrica», scegliendo la parola «identificazione» piuttosto che «riconoscimento».

Catelijne Muller, presidente dell’organizzazione indipendente ALLAI, scrive: «Molte tecnologie di riconoscimento biometrico non hanno lo scopo di identificare una persona, ma piuttosto di valutarne il comportamento (ad esempio studiando le caratteristiche del viso, le espressioni, il movimento degli occhi, la temperatura, la frequenza cardiaca, ecc.)», e aggiunge «sorprendentemente, questo tipo di riconoscimento biometrico è posto al secondo livello della “piramide del rischio”, richiedendo semplicemente trasparenza sul suo utilizzo, mentre è altamente invadente e scientificamente discutibile. Dovrebbe essere molto più in alto nella piramide».

Algoritmi «ad alto richio»

Tra le applicazioni che la proposta della Commissione considera ad alto rischio ci sono: valutazione automatica del merito creditizio, algoritmi per la selezione e gestione del personale, per l’accesso all’istruzione e per la valutazione degli esami, l’assistenza nella decisione dei giudici o nelle operazioni di polizia. In tutti questi ambiti sono ormai molti i casi documentati in cui gli algoritmi hanno causato discriminazione verso gruppi sociali minoritari, sia per provenienza geografica che per genere o condizioni socioeconomiche. Alle società che sviluppano questi sistemi e a quelle che li utilizzano è richiesto di provarne la sicurezza, di valutarne i rischi in diversi contesti, di fornire documentazioni che ne spieghi il funzionamento e di garantire la supervisione umana.

A questo proposito, «Algorithm Watch» fa notare che: «I sistemi di intelligenza artificiale classificati come ad alto rischio saranno soggetti all’autovalutazione da parte del fornitore, compresi i sistemi utilizzati per la polizia predittiva, il controllo della migrazione e la selezione del personale. A nostro avviso, è inaccettabile lasciare una valutazione così importante esclusivamente agli attori aziendali che hanno un grande interesse nell’implementazione di questi sistemi».

La proposta della Commissione è il primo tentativo di regolare l’impiego dell’IA in un unico quadro giuridico. Finora gli interventi per limitare i danni che questi strumenti possono causare avevano riguardato singoli casi o singole tecnologie.

La vicepresidente della Commissione Margrethe Vestager ha sottolineato che i rischi non sono da attribuire alla tecnologia in sé, ma piuttosto al suo ambito di applicazione, che può avere implicazioni etiche diverse a seconda dei casi. Tuttavia, l’Articolo 3 della proposta definisce un «sistema di intelligenza artificiale» come un software sviluppato con una lista di tecniche e di approcci dettagliati nel primo allegato (che include sia il machine learning che strumenti statistici più convenzionali).

A questo proposito, Virginia Dignum, professoressa al Department of Computing Science alla Umeå University in Svezia, fa notare: «L’intelligenza artificiale comprende diversi approcci, alcuni più controversi di altri, alcuni completamente trasparenti, deterministici e spiegabili, ma comunque invasivi. Preferirei che il regolamento si concentrasse semplicemente sulle proprietà o sui possibili impatti, piuttosto che sulle tecniche».

Il Regolamento proposto contiene importanti implicazioni per le grandi compagnie tecnologiche, che possono andare incontro a multe fino al 6% del loro fatturato a livello globale. Il Regolamento riguarda i cittadini dell’Unione Europea e tutte le compagnie che fanno affari in UE.

Negli Stati Uniti

Anche dall’altra parte dell’Atlantico è stata una settimana importante per la regolamentazione dell’intelligenza artificiale. Lunedì Elisa Jilson, legale della Federal Trade Commission statunitense, ha pubblicato un articolo in cui ha richiamato l’attenzione sul fatto che esistono già delle leggi che possono essere utili per evitare che i sistemi automatici di assistenza alla decisione siano discriminatori e ingiusti.

La FTC non ha voce in capitolo sull’operato delle agenzie governative o delle banche, ma può intervenire sulle società che vendono i software a questi soggetti. Ed è quello che intende fare. Scrive: «Supponiamo che uno sviluppatore di software dica ai clienti che il suo prodotto selezionerà i candidati per una nuova posizione lavorativa in maniera completamente imparziale, ma l’algoritmo è stato costruito con dati che non rappresentano la diversità etnica e di genere della società. Il risultato potrebbe essere un’azione legale da parte della FTC».

Se l’approccio europeo è più ambizioso di quello statunitense, quest’ultimo potrebbe portare a soluzioni concrete in tempi più brevi, vista il lungo percorso di discussione e negoziazione che la proposta europea ha davanti a sé.

Il punto debole di entrambi, scrive Will Douglas Heaven su MIT Technology Review, è quello di avere poco potere sull’operato dei governi e delle istituzioni pubbliche, ma conclude con una nota di ottimismo: «Gli annunci di questa settimana riflettono un enorme cambiamento a livello mondiale verso una seria regolamentazione dell’IA, una tecnologia che finora è stata sviluppata e implementata con poca supervisione».

• Scienza in rete, 23 aprile 2021.