ChatGPT è un Large Language Model, un software addestrato su una immensa quantità di dati (testi, pagine web, pagine di programmazione…) a cui sono state fornite regole grammaticali e sintattiche per poter interagire con gli utenti.

Essendo un tipo di IA ibrida, ChatGPT è costituito da una componente subsimbolica e una simbolica. La componente subsimbolica si occupa di generare risposte sulla base di un calcolo della probabilità della correttezza della risposta stessa, mentre la componente simbolica si occupa di implementare le regole sintattiche nella generazione delle risposte.

Non è tutto oro…

A prima vista, le capacità di ChatGPT appaiono straordinarie. ChatGPT genera risposte come se fosse un essere umano, ma avendo a disposizione una base di conoscenza di gran lunga superiore a quella di un essere umano.

All’interno di una singola chat, le risposte di ChatGPT sono connesse alle risposte precedenti, creando l’impressione di un vero e proprio dialogo con un’entità che abbia non solo conoscenze, ma anche la cognizione di una successione di interazioni nel tempo.

Tuttavia, a guardare bene, non è tutto oro quello che luccica. In una serie di esperimenti atti a testare le capacità logico-matematiche di ChatGPT, è risultato che ChatGPT3 ha problemi a dedurre la corretta premessa in un sillogismo un po’ più complesso della media, e ChatGPT4 non riesce a dimostrare che, data una relazione binaria con alcune proprietà, non tutti gli elementi di un insieme sono connessi tra loro dalla relazione.

In entrambi i casi, è possibile dire a ChatGPT che le risposte sono errate; ChatGPT si scuserà, e formulerà un’altra risposta che terrà conto dell’errore. Ma questa nuova risposta sarà sulla falsariga della conclusione precedente: ChatGPT cambierà semplicemente il modo di arrivarci.

Semantica

Questo problema è relativo alla semantica di ChatGPT, ossia alla relazione tra i termini (di una risposta o di una formula) e gli oggetti di un determinato insieme o «dominio».

Nella frase «sta piovendo», la semantica è il senso di questa frase, ossia la relazione tra la frase e il fatto che cadono gocce dal cielo (oggetti) nel momento e nel posto in cui mi trovo (dominio).

La semantica di ChatGPT è ricavata, in modo statistico, dall’immensa quantità di testi su cui ChatGPT è stata addestrata. Dato che i testi, presi da internet, sono considerati coerenti e dotati di senso, ossia corretti da un punto di vista sintattico e semantico, essi costituiscono la base su cui ChatGPT costruisce il senso delle sue risposte.

Ciò significa che se i testi forniti a ChatGPT non fossero semanticamente corretti, allora anche le risposte di ChatGPT non sarebbero semanticamente corrette – o meglio, sarebbero ancora meno semanticamente corrette di quanto già non lo siano.

Pertanto, ChatGPT non ha nessuna autonomia semantica: non può valutare se la propria risposta è semanticamente corretta perché non ha nessuna regola per costruire la semantica delle sue decisioni, ossia, non ha nessuna nozione astratta di cosa sia il senso.

Questa assenza di regole semantiche significa una cosa importante: che le intelligenze artificiali quali ChatGPT non hanno comprensione di quello che dicono e decidono.

Semplicemente, ripetono ciò che hanno imparato dall’enorme quantità di testi appresi, modificando e riarrangiando parti di questi tesi in base all’ambito semantico della domanda dell’utente. Per questo, è comune applicare la metafora del pappagallo stocastico: il pappagallo stocastico non crea nulla di nuovo, ma semplicemente ripete in modo probabilistico. Più precisamente, il pappagallo stocastico formula risposte la cui correttezza semantica è solo probabile, e questa probabilità si basa unicamente sulla quantità di ciò che appreso.

Logica e retorica

Qual è il problema con il pappagallo stocastico? Il problema ha a che fare con la distinzione tra logica e retorica. Come visto, ChatGPT formula una risposta – ossia una decisione – che si conforma a regole sintattiche ma non a regole semantiche: di conseguenza, ChatGPT non ha il controllo sulla semantica delle sue risposte, ossia sul loro senso. Pertanto, le risposte di ChatGPT appaiono perfettamente corrette, ma, in alcuni casi, questa correttezza è, appunto, solo apparente, dato che non c’è nessun confronto con regole semantiche.

Negli esempi menzionati, le risposte di ChatGPT sul sillogismo e sulla relazione binaria sono errate. Tuttavia, queste risposte errate sembrano perfettamente corrette perché sono molto ben argomentate.

Inoltre, proprio perché è una macchina, ChatGPT non è affetta dai condizionamenti emotivi che noi umani abbiamo nel momento in cui formuliamo una risposta di cui non siamo sicuri essere corretta: ChatGPT non esita, non balbetta, non suda, non mostra segni di incertezza. ChatGPT formula la sua risposta errata proprio come se fosse la sola risposta corretta, la argomenta, e continua a riproporla anche dopo che le è stato fatto notare che alcuni passaggi non sono logicamente validi.

Le risposte di ChatGPT sono assolutamente convincenti, ma non necessariamente corrette. In termini ancora più espliciti: le risposte di ChatGPT nascondono una potenziale incorrettezza logica sotto un’eccellente retorica.

Chi controlla ChatGPT?

Si potrebbe obiettare che non si tratti di un grandissimo problema perché si limita ad alcune risposte circostanziate di ChatGPT, tra l’altro formulate proprio per testare le sue capacità logiche.

Tuttavia, chiediamoci cosa farebbe un utente standard che pone una domanda a ChatGPT senza secondi fini come, per esempio, testare le sue capacità logiche. Come reagirebbe questo utente davanti a una risposta retoricamente così ben confezionata? Andrebbe a verificare la correttezza logica della risposta, o si fiderebbe della decisione perfettamente plausibile di ChatGPT?

È da sottolineare anche il fattore tempo: si usa ChatGPT proprio per ottenere una risposta rapida a un problema complesso. Un controllo della risposta di ChatGPT farebbe perdere questo guadagno di tempo.

Insomma, la retorica delle risposte di ChatGPT instilla fiducia nell’utente relativamente alla correttezza di queste risposte. Ma questa fiducia non è affatto supportata da una vera validità delle risposte. Per certe risposte, è una fiducia fittizia, e tuttavia difficile da confutare.

Intelligenze artificiali quali ChatGPT sono in grado di creare risposte, decisioni, e persino narrazioni, dotate di una forza retorica tale da farci credere di essere corrette. Non solo: ChatGPT ha accesso alle nostre aspettative, abitudini, preferenze, proprio dalle nostre interazioni con lei.

Ciò significa che l’eccellente retorica della macchina è in grado di modificare le nostre credenze: farci credere cose che non corrispondono alla realtà dei fatti. E questo è possibile proprio perché le nostre credenze non si basano su prove o conferme della loro validità, ma dipendono esclusivamente dalla loro compatibilità con certe nostre aspettative, dal loro impatto narrativo, e dalla loro forza retorica.

Rilevanza etica

L’incoerenza logica di alcune decisioni automatizzate non appare di primo acchito, esattamente come non appare di primo acchito la fragilità o incoerenza di certe nostre credenze: di primo acchito appare la potenza di persuasione basata sulla sintonia delle decisioni artificiali con le nostre credenze, in quanto parimenti caratterizzate da questa separazione tra persuasione retorica e correttezza logica.

Le credenze sono centrali nelle nostre decisioni e regolano il nostro orientamento nel mondo e nella nostra vita in generale. È chiaro quindi che la separazione tra logica e retorica, che caratterizza le decisioni artificiali, ha una enorme rilevanza etica, perché influisce in modo implicito sulle nostre decisioni, azioni, condotte – tutte cose iniziate e supportate dalle nostre credenze. E dico «in modo implicito», perché, nuovamente, le decisioni artificiali sono perfettamente convincenti: perché perdere tempo a vedere se sono anche logicamente coerenti e corrette?

A una rilevanza etica si connette un lavoro etico. Una volta consapevoli di questa discrepanza tra persuasione retorica e correttezza logica nelle decisioni artificiali, potremmo avere voglia di approfondire e testare le decisioni artificiali che riceviamo; potremmo riconoscerle come canti di sirena, potremmo voler essere ancora più saldamente ancorati all’albero maestro della correttezza logica, della coerenza semantica, e della relazione con fatti e circostanze, per preservare la nostra autonomia. È un lavoro etico, perché mira a rimediare al problema etico di decisioni artificiali potenzialmente dannose perché illusoriamente corrette.

Ma come possiamo davvero effettuare questo lavoro etico verso le narrazioni artificiali? Come avere le risorse, le competenze, e il tempo, per impegnarci in questa operazione di conferma della correttezza delle decisioni formulate dell’intelligenza artificiale?

A questa domanda risponde il resto del libro! La risposta include la direzione del mio lavoro: l’ideazione di una IA 100% simbolica – ossia 100% trasparente e rule-based dal punto di vista sia semantico che sintattico – che funga da auditor per le decisioni di altre IA. Con i miei studenti stiamo applicando questa idea all’AI Act dell’UE, ossia la prima e per ora unica normativa su IA formulata da un ente parlamentare.

Andrea Vestrucci è docente di Ingegneria dei Sistemi di IA presso l’Università di Bamberga, Germania, e il college Starr King School di Oakland, US. La sua ricerca copre aree chiave nello sviluppo e riflessione sull’IA: l’automazione di modelli cognitivi e ragionamenti astratti a supporto di processi decisionali; l’esplorazione di un sistema intelligente di “Auditor Etico” attraverso l’implementazione algoritmica di teorie etiche e legali; l’affidabilità e trasparenza nelle interazioni tra IA e collettività, in particolare in progetti Smart City; la relazione tra credere e comprendere, con focus sull’intreccio tra logica e pluralismo religioso.

• Pubblicato sul Substack di Stefano Feltri, Appunti, 23 novembre 2023