Author: Enrico Cameron

Il Regolamento sull’IA della UE #2: Pratiche vietate – Parte 3 – Il social scoring

January 5th, 2025
Il social scoring utilizza sistemi di intelligenza artificiale (IA) per valutare individui o gruppi analizzando varie informazioni sul loro comportamento, spesso in diversi contesti. Questi sistemi possono identificare schemi o fare previsioni sulle caratteristiche, sulle abitudini o sulle probabili azioni di una persona nel tempo. Il processo genera un punteggio consolidato, che viene poi usato per formulare giudizi o prendere decisioni su quegli individui o quei gruppi.

L’articolo 5, paragrafo (c), dell’EU AI Act vieta esplicitamente i sistemi di IA che, appunto, valutano o classificano individui o gruppi nel tempo sulla base di:
- Comportamenti sociali, sia osservati, sia dedotti da dati esistenti (inferiti), sia previsti per il futuro (predetti).
- Caratteristiche personali o della personalità, siano esse conosciute o inferite.
L’uso dei punteggi derivati da questi sistemi sono proibiti se producono:
- Trattamenti sfavorevoli in contesti sociali non correlati. Un esempio è il comportamento di una persona sui social media che influisce sull’accesso alla casa o all’istruzione.
- Danni sproporzionati o ingiustificati basati sul comportamento sociale o sulla sua gravità. Ciò garantisce che, anche in contesti correlati, le misure punitive siano proporzionate alla natura e alla gravità del comportamento.
I trattamenti e i danni menzionati sono indesiderabili perché sono discriminatori, aggravano le disuguaglianze e marginalizzano determinati gruppi. Inoltre, sono contrari al diritto alla dignità, all’uguaglianza e, appunto, alla non discriminazione. Utilizzare dati provenienti da un contesto (ad esempio le abitudini di acquisto) per prendere decisioni in un ambito non correlato (per esempio l’occupazione) compromette ulteriormente l’equità.

Il divieto riflette, quindi, un impegno a garantire che i sistemi di IA rispettino i valori fondamentali europei di giustizia e non discriminazione. Tuttavia, come affermato nei considerando dell’articolo, la proibizione non riguarda legittime pratiche di valutazione delle persone fisiche, effettuate per uno scopo specifico in conformità con il diritto dell’Unione e nazionale.

Il caso della città-contea di Rongcheng (Cina) fornisce un esempio concreto di un sistema di credito sociale che ha suscitato molte discussioni nei media. A Rongcheng, i residenti ricevono un punteggio base di 1.000, che viene modificato in base alle loro azioni. Attività positive, come vincere competizioni nazionali, possono aumentare il punteggio, mentre azioni negative, come la diffusione di “informazioni dannose” online, lo riducono. Nel 2007 la Cina ha proposto un piano per costruire un sistema di credito sociale con l’obiettivo di promuovere l’ordine sui mercati attraverso la valutazione di affidabilità creditizia di imprese e individui, ma il sistema si è poi ampliato per abbracciare molti aspetti della vita quotidiana. Il caso di Rongcheng, però, è un’implementazione locale che si applica solo all’interno della città ed è analizzato in questo articolo.

L’esistenza di questi sistemi ha sollevato preoccupazioni a livello internazionale. Attivisti e media temono il loro potenziale abuso, le violazioni della privacy e l’effetto dissuasivo che potrebbero avere sulla libertà di espressione, soprattutto se applicati su scala più ampia o a livello nazionale (vedi, ad esempio, qui). Nel frattempo, la Cina ha annunciato una nuova legge sul credito sociale, e una visione equilibrata delle sue implicazioni è offerta qui.

Il caso di SyRI (Systeem Risico Indicatie) nei Paesi Bassi evidenzia un altro uso controverso dei sistemi di IA. SyRI era un sistema automatizzato adottato dal governo olandese per rilevare le frodi nel welfare incrociando i dati di vari organi amministrativi. Sebbene non sia propriamente un procedimento di social scoring, e quindi non sia del tutto appropriato discuterlo in questo contesto, anche SyRI aggregava dati provenienti da più fonti per valutare gli individui, creando profili di rischio, per segnalare quelli ritenuti più propensi a commettere frodi welfare. I sostenitori hanno affermato che SyRI migliorava l’efficienza e aiutava a contrastare l’uso improprio dei fondi pubblici. Tuttavia, i critici hanno sollevato preoccupazioni sulle violazioni della privacy, la mancanza di trasparenza e i rischi di discriminazione. L’uso del sistema ha incontrato una forte opposizione ed è terminato nel 2020, con conseguenze politiche, dopo che la sentenza di un tribunale olandese ha dichiarato che violava diritti di privacy (vedi un’analisi del caso qui). Questi esempi sono illustrativi del delicato equilibrio tra utilità di un tecnologia e considerazioni etiche, e rafforzano l’importanza di regolamentazioni come quelle dell’AI Act dell’Unione Europea. Tuttavia, come esploreremo anche in post futuri, anche l’AI Act è ovviamente suscettibile di miglioramenti.

P.S. Non posso aggiornare il blog molto frequentemente, quindi vi prego di avere pazienza.
The EU AI Act #2: No-no AI practices – Part 3 – Social scoring

January 5th, 2025
Social scoring involves using AI systems to evaluate individuals or groups by analyzing various pieces of information about their behavior, often across multiple contexts. These systems can identify patterns or make predictions about a person’s characteristics, habits, or likely actions over time. This process creates a consolidated score, which is then used to make judgments or decisions about individuals or groups.

Art. 5, paragraph (c) of the EU AI Act explicitly bans AI systems that evaluate or classify individuals or groups over time based on their:
- Social behavior, whether observed, deduced based on existing data (inferred), or forecasted for the future (predicted).
- Personal or personality characteristics, whether known or inferred.
The social scores derived from these systems are prohibited if they result in:
- Unfavorable treatment in unrelated social contexts. For example, a person’s behavior on social media affecting their access to housing or education.
- Disproportionate or unjustified harm based on social behavior or its gravity. This ensures that even within related contexts, punitive measures must align with the nature and seriousness of the behavior.
Such undesirable outcomes, indeed, are discriminatory, exacerbate inequalities, and marginalize certain groups. They are contrary to the rights to dignity, equality, and non-discrimination. Additionally, using data from one context (e.g., shopping habits) to make decisions in an unrelated domain (e.g., employment) undermines fairness.

The prohibition, then, reflects a commitment to ensuring that AI systems respect core European values of justice and non-discrimination. However, as stated in the article recital, it should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.

The case of Rongcheng county-level city (China) provides a real-world example of social credit system that has sparked much debate in the media. In Rongcheng, residents receive a baseline credit score of 1,000, adjusted based on their actions. Positive activities, like winning national competitions, can increase scores, while negative actions, such as spreading “harmful information” online, decrease them. China initially proposed the plan to construct a Social Credit System in 2007 with the aim of restoring market order through financial creditworthiness of business and individuals, but the system has since broadened to encompass many aspects of daily life. Rongcheng’s social scoring system, however, is a local implementation that applies only within the city and it is analyzed in this article.

The existence of these systems has raised alarms internationally. Activists and media outlets worry about their potential misuse, privacy violations, and their potential chilling effect on free expression, especially if scaled to larger or national contexts (see, e.g., here). Meanwhile, China has announced a new social credit law, and a balanced view of its implications is offered here.

The case of SyRI (Systeem Risico Indicatie) in the Netherlands highlights another controversial use of AI systems. SyRI was an automated system adopted by the Dutch government to detect welfare fraud by cross-referencing data from various administrative organs. While it is not strictly a social scoring system, and therefore it is not entirely appropriate to discuss it in this context, it shares similarities with such systems. Like social scoring, SyRI aggregated data from multiple sources to evaluate individuals and created risk profiles to flag those deemed more likely to commit welfare fraud. Proponents argued that the system enhanced efficiency and helped target the misuse of public funds. However, critics raised concerns about privacy violations, a lack of transparency, and the risk of discimination. The system faced significant pushback, ultimately leading to its discontinuation in 2020 after a court ruling deemed it a violation of privacy rights (see an analysis of the case here). These examples illustrate the delicate balance between technological utility and ethical considerations, reinforcing the importance of regulations like those proposed in the EU AI Act. Nevertheless, as we will also explore in later posts, the Act remains of course open to improvement.

P.S. I cannot update the blog very frequently, so please be patient
Un altro libro

August 23rd, 2024

In attesa di proseguire la serie di post sull’AI Act dell’Unione Europea, vorrei suggerire un altro libro che ho trovato una lettura piacevole e accessibile. Si tratta di ‘AI in the Wild – Sustainability in the Age of Artificial Intelligence’ di Peter Dauvergne, pubblicato da The MIT Press. Secondo il sito web dell’editore, il testo discute dei potenziali benefici e rischi, per la sostenibilità globale, legati all’uso dell’intelligenza artificiale. In questo contesto, ‘sostenibilità’ si riferisce principalmente ai 17 Obiettivi di Sviluppo Sostenibile delle Nazioni Unite, poiché l’analisi del professor Dauvergne abbraccia un ampio spettro di argomenti, dai problemi ambientali alla giustizia sociale. Il tutto in meno di 250 pagine ben scritte. Questo rende il libro una valida sintesi e un utile punto di partenza per ulteriori approfondimenti.
Another book

August 23rd, 2024

While we wait to continue our series of posts on the European Union’s AI Act, I’d like to recommend another book that I found to be a pleasant and accessible read. It’s titled ‘AI in the Wild – Sustainability in the Age of Artificial Intelligence’ by Peter Dauvergne, published by The MIT Press. According to the publisher’s website, the book discusses the potential benefits and risks of using artificial intelligence to advance global sustainability. Here, ‘sustainability’ primarily refers to the 17 UN Sustainable Development Goals, since Professor Dauvergne’s analysis spans a wide range of topics, providing a comprehensive overview of the potentialities and threats posed by the large-scale deployment of AI, from environmental issues to social justice. He achieves this in fewer than 250 well-crafted pages. This makes the book a solid summary and a helpful starting point for further exploration.
Il Regolamento sull’IA della UE #2: Pratiche vietate – Parte 2

July 18th, 2024

In questo post continuiamo l’esame dell’Articolo 5 dell’EU Artificial Intelligence Act, che stabilisce limiti legali fondamentali e standard etici per l’uso delle applicazioni di IA nel territorio della UE. Nel post precedente, abbiamo considerato un divieto volto a prevenire l’implementazione di sistemi di IA progettati per divenire attori sociali pericolosi, compromettendo la capacità delle persone di prendere decisioni informate e causando loro – effettivamente o probabilmente – danni significativi.

La clausola al comma 1, punto (b) dell’articolo è in qualche misura simile, in quanto vieta “l’immissione sul mercato, la messa in servizio o l’uso di sistemi di IA che sfruttino qualsiasi vulnerabilità di una persona o di un gruppo specifico di persone, dovuta all’età, a una disabilità o a una determinata situazione sociale o economica, con l’obiettivo o l’effetto di distorcere materialmente il comportamento di quella persona, o di una persona di quel gruppo, in un modo che causa – o è ragionevolmente probabile che causi – danni significativi a quella o ad altre persone.” In questo caso, l’attenzione è chiaramente rivolta a proteggere individui o gruppi le cui vulnerabilità possono essere sfruttate dai sistemi di IA, portando a una distorsione del loro comportamento che causa o è ragionevolmente probabile che causi danni.

Il divieto considerato nel post precedente sottolineava l’intenzionalità nella progettazione di sistemi di IA potenzialmente dannosi, ma in questo caso la distorsione del comportamento causata da un determinato sistema può essere semplicemente un effetto anche indesiderato del suo uso. Questo può essere interpretato come un incentivo, per produttori e fornitori di software IA, a valutare meglio e in anticipo le possibili conseguenze dell’uso di tale software. Inoltre è apprezzabile, a mio avviso, che le vulnerabilità menzionate nella clausola non siano solo relative a disabilità, ma anche all’età o a situazioni sociali o economiche. Ancora una volta, può essere difficile stabilire se un sistema abbia distorto il comportamento di qualcuno e abbia causato (o possa ragionevolmente causare) danni significativi, ma questo è, inevitabilmente, un argomento per discussioni teoriche e analisi di casi reali, anche da una prospettiva legale. Questo vale anche per l’individuazione delle situazioni sociali o economiche a cui l’articolo si applica effettivamente.

Una considerazione personale, però: che dire dei sistemi alimentati dall’IA che, per esempio, stimolano un giovane utente a interagire con essi per parecchie ore, come sembra accadere con molti giochi online o social media (che coinvolgano o meno l’IA)? Non è anche questo uno sfruttamento di una vulnerabilità (non solo dei giovani)? Al momento, non sembra esserci una chiara evidenza che, per esempio, il networking sociale online influisca sugli aspetti normali del comportamento umano e causi disturbi di rilevanza psichiatrica (vedi ad esempio questo studio). Tuttavia, cosa succederebbe se queste evidenze diventassero più forti? Questi tipi di sistemi dovrebbero essere vietati? La mia risposta è sì, a meno che non vengano modificati in modo appropriato e tempestivo.
The EU AI Act #2: No-no AI practices – Part 2

July 18th, 2024

In this post, we continue the examination of Article 5 of the EU Artificial Intelligence Act, which sets fundamental legal boundaries and ethical standards for the use of AI applications within the EU territory. In the previous post, we examined a prohibition aimed to prevent the deployment of AI systems designed to become dangerous social actors by impairing people’s ability to make informed decisions, thereby causing them – actually or likely – significant harm.

The clause in comma 1, point (b) of the article is similar to some extent, in that it forbids “the placing on the market, the putting into service, or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability, or a specific social or economic situation, with the objective or the effect of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm.” In this case, the focus is clearly on protecting individuals or groups whose vulnerabilities may be exploited by AI systems, leading to a distortion of their behaviour that causes or it is reasonably likely to cause harm.

The prohibition considered in the preceding post emphasized the intentionality of the design of potentially malicious AI systems, but in this case the distortion of behaviour caused by a system may simply be an unwanted effect of its use. This seems to incentivize AI software producers and providers to better evaluate, in advance, the possible consequences of deploying such software. Furthermore, it is commendable, in my view, that the vulnerabilities referred to in the clause are not only related to disabilities, but also to age or social or economic situations. Again, whether a system has distorted someone’s behaviour and has therefore (reasonably likely) caused significant harm may be difficult to establish, but this is – unavoidably – a topic for theoretical discussions and examinations of real cases, even from a legal perspective. This also pertains to which social or economic situations the article actually covers.

A personal consideration, however: what about AI-powered systems that, for instance, stimulate a young user to spend many hours interacting with them, as it seems to be happening with a lot of online games or social media (whether or not AI is involved)? Isn’t this exploiting a vulnerability (not only of youngsters)? At the moment, there doesn’t appear to be clear evidence that, for example, online social networking affects normal aspects of human behaviour and causes psychiatric disorders (see for example this study). However, what if this evidence becomes stronger? Should these types of systems be prohibited? My answer is yes, unless they are modified, appropriately and timely.
Il Regolamento sull’IA della UE #2: Pratiche vietate – Parte 1

July 8th, 2024

L’art. 5 del Regolamento sull’Intelligenza Artificiale della UE elenca e descrive esplicitamente le pratiche vietate riguardanti l’uso dell’IA. Questo articolo stabilisce limiti legali fondamentali nell’uso delle applicazioni IA, e riflette anche standard etici essenziali. In questa serie di post, esamineremo uno per uno questi divieti, a partire da quello nel comma 1, punto (a) dell’articolo. Questa clausola afferma che è vietato vendere, distribuire o utilizzare sistemi IA che impiegano tecniche subliminali, manipolative o ingannevoli per alterare il comportamento di una persona o di un gruppo di persone, in modo tale da compromettere significativamente la loro capacità di prendere decisioni informate, portandoli a fare scelte che normalmente non farebbero e causando, o rischiando di causare, danni significativi alla persona che usa il sistema, a un’altra persona o a un gruppo di persone. A mio avviso, l’essenza di questa norma sta nei quattro punti che seguono.

Intenzionalità: la clausola implica – come aspetto essenziale per determinare la conformità al regolamento e la responsabilità legale – che le tecniche subliminali, manipolative o ingannevoli siano intenzionalmente integrate nel sistema IA.

Obiettivo: le tecniche sopra menzionate devono essere specificamente utilizzate per alterare il comportamento di una persona o di un gruppo di persone, compromettendo significativamente la loro capacità di prendere decisioni informate. Minare le capacità decisionali è quindi il meccanismo attraverso il quale operano questi sistemi IA vietati.

Conseguenze: le tecniche manipolative impiegate devono portare gli individui a prendere decisioni che, normalmente, non avrebbero preso se i sistemi IA considerati non fossero stati utilizzati. Questo aspetto sottolinea la relazione causa-effetto tra l’uso di un sistema e l’alterazione di un processo decisionale.

Requisito del Danno: le decisioni influenzate dalle tecniche di cui si è detto devono causare o rischiare di causare danni significativi all’utente o ad altri. Questo requisito collega le considerazioni precedenti a risultati tangibili, in termini di potenziale impatto nel mondo reale.

L’intenzione di questa clausola è prevenire il dispiegamento di sistemi IA progettati per diventare attori sociali pericolosi, ma il diavolo, come sempre, si nasconde nei dettagli. Ad esempio, termini come “subliminale”, “manipolativo”, “ingannevole” e “danno significativo” sono in qualche modo soggettivi e aperti a interpretazioni. Questa vaghezza può portare a sfide nell’applicazione della norma e potrebbe richiedere lunghe analisi legali per essere chiarita. Cosa ancora più importante, dimostrare che una decisione non sarebbe stata presa senza l’uso di un certo sistema IA, anche se malevolo, può risultare difficile. Infatti, stabilire un chiaro legame causale tra l’utilizzo del sistema e una decisione specifica è complesso. Le decisioni sono influenzate da una molteplicità di fattori—personali, sociali, economici e psicologici. Distinguere l’impatto dell’IA da quello degli altri fattori non è semplice. Inoltre, raccogliere prove per dimostrare che una decisione è stata condizionata dall’IA può comportare difficoltà tecniche o di altro tipo. Potrebbe essere necessario, ad esempio, accedere a informazioni protette o addirittura secretate (dati compresi) su come un sistema IA è stato effettivamente utilizzato all’interno di un processo decisionale.

Come riflessione finale, consideriamo questa versione della norma: è vietato vendere, distribuire o utilizzare un sistema IA che impiega tecniche subliminali, manipolative o ingannevoli per distorcere il comportamento di una persona o di un gruppo di persone, in modo tale da compromettere significativamente la loro capacità di prendere decisioni informate, portandoli a fare scelte che normalmente non farebbero, causando o rischiando di causare un bene significativo alla persona che usa il sistema, a un’altra persona o a un gruppo di persone. Includereste anche questa versione nel Regolamento sull’IA dell’UE? (La mia risposta è sì: a mio avviso, la capacità di prendere decisioni informate prevale su qualsiasi buona intenzione).