Il social scoring utilizza sistemi di intelligenza artificiale (IA) per valutare individui o gruppi analizzando varie informazioni sul loro comportamento, spesso in diversi contesti. Questi sistemi possono identificare schemi o fare previsioni sulle caratteristiche, sulle abitudini o sulle probabili azioni di una persona nel tempo. Il processo genera un punteggio consolidato, che viene poi usato per formulare giudizi o prendere decisioni su quegli individui o quei gruppi.

L’articolo 5, paragrafo (c), dell’EU AI Act vieta esplicitamente i sistemi di IA che, appunto, valutano o classificano individui o gruppi nel tempo sulla base di:

• Comportamenti sociali, sia osservati, sia dedotti da dati esistenti (inferiti), sia previsti per il futuro (predetti).
• Caratteristiche personali o della personalità, siano esse conosciute o inferite.

L’uso dei punteggi derivati da questi sistemi sono proibiti se producono:

• Trattamenti sfavorevoli in contesti sociali non correlati. Un esempio è il comportamento di una persona sui social media che influisce sull’accesso alla casa o all’istruzione.
• Danni sproporzionati o ingiustificati basati sul comportamento sociale o sulla sua gravità. Ciò garantisce che, anche in contesti correlati, le misure punitive siano proporzionate alla natura e alla gravità del comportamento.

I trattamenti e i danni menzionati sono indesiderabili perché sono discriminatori, aggravano le disuguaglianze e marginalizzano determinati gruppi. Inoltre, sono contrari al diritto alla dignità, all’uguaglianza e, appunto, alla non discriminazione. Utilizzare dati provenienti da un contesto (ad esempio le abitudini di acquisto) per prendere decisioni in un ambito non correlato (per esempio l’occupazione) compromette ulteriormente l’equità.

Il divieto riflette, quindi, un impegno a garantire che i sistemi di IA rispettino i valori fondamentali europei di giustizia e non discriminazione. Tuttavia, come affermato nei considerando dell’articolo, la proibizione non riguarda legittime pratiche di valutazione delle persone fisiche, effettuate per uno scopo specifico in conformità con il diritto dell’Unione e nazionale.

Il caso della città-contea di Rongcheng (Cina) fornisce un esempio concreto di un sistema di credito sociale che ha suscitato molte discussioni nei media. A Rongcheng, i residenti ricevono un punteggio base di 1.000, che viene modificato in base alle loro azioni. Attività positive, come vincere competizioni nazionali, possono aumentare il punteggio, mentre azioni negative, come la diffusione di “informazioni dannose” online, lo riducono. Nel 2007 la Cina ha proposto un piano per costruire un sistema di credito sociale con l’obiettivo di promuovere l’ordine sui mercati attraverso la valutazione di affidabilità creditizia di imprese e individui, ma il sistema si è poi ampliato per abbracciare molti aspetti della vita quotidiana. Il caso di Rongcheng, però, è un’implementazione locale che si applica solo all’interno della città ed è analizzato in questo articolo.

L’esistenza di questi sistemi ha sollevato preoccupazioni a livello internazionale. Attivisti e media temono il loro potenziale abuso, le violazioni della privacy e l’effetto dissuasivo che potrebbero avere sulla libertà di espressione, soprattutto se applicati su scala più ampia o a livello nazionale (vedi, ad esempio, qui). Nel frattempo, la Cina ha annunciato una nuova legge sul credito sociale, e una visione equilibrata delle sue implicazioni è offerta qui.

Il caso di SyRI (Systeem Risico Indicatie) nei Paesi Bassi evidenzia un altro uso controverso dei sistemi di IA. SyRI era un sistema automatizzato adottato dal governo olandese per rilevare le frodi nel welfare incrociando i dati di vari organi amministrativi. Sebbene non sia propriamente un procedimento di social scoring, e quindi non sia del tutto appropriato discuterlo in questo contesto, anche SyRI aggregava dati provenienti da più fonti per valutare gli individui, creando profili di rischio, per segnalare quelli ritenuti più propensi a commettere frodi welfare. I sostenitori hanno affermato che SyRI migliorava l’efficienza e aiutava a contrastare l’uso improprio dei fondi pubblici. Tuttavia, i critici hanno sollevato preoccupazioni sulle violazioni della privacy, la mancanza di trasparenza e i rischi di discriminazione. L’uso del sistema ha incontrato una forte opposizione ed è terminato nel 2020, con conseguenze politiche, dopo che la sentenza di un tribunale olandese ha dichiarato che violava diritti di privacy (vedi un’analisi del caso qui). Questi esempi sono illustrativi del delicato equilibrio tra utilità di un tecnologia e considerazioni etiche, e rafforzano l’importanza di regolamentazioni come quelle dell’AI Act dell’Unione Europea. Tuttavia, come esploreremo anche in post futuri, anche l’AI Act è ovviamente suscettibile di miglioramenti.

P.S. Non posso aggiornare il blog molto frequentemente, quindi vi prego di avere pazienza.