In questo post continuiamo l’esame dell’Articolo 5 dell’EU Artificial Intelligence Act, che stabilisce limiti legali fondamentali e standard etici per l’uso delle applicazioni di IA nel territorio della UE. Nel post precedente, abbiamo considerato un divieto volto a prevenire l’implementazione di sistemi di IA progettati per divenire attori sociali pericolosi, compromettendo la capacità delle persone di prendere decisioni informate e causando loro – effettivamente o probabilmente – danni significativi.

La clausola al comma 1, punto (b) dell’articolo è in qualche misura simile, in quanto vieta “l’immissione sul mercato, la messa in servizio o l’uso di sistemi di IA che sfruttino qualsiasi vulnerabilità di una persona o di un gruppo specifico di persone, dovuta all’età, a una disabilità o a una determinata situazione sociale o economica, con l’obiettivo o l’effetto di distorcere materialmente il comportamento di quella persona, o di una persona di quel gruppo, in un modo che causa – o è ragionevolmente probabile che causi – danni significativi a quella o ad altre persone.” In questo caso, l’attenzione è chiaramente rivolta a proteggere individui o gruppi le cui vulnerabilità possono essere sfruttate dai sistemi di IA, portando a una distorsione del loro comportamento che causa o è ragionevolmente probabile che causi danni.

Il divieto considerato nel post precedente sottolineava l’intenzionalità nella progettazione di sistemi di IA potenzialmente dannosi, ma in questo caso la distorsione del comportamento causata da un determinato sistema può essere semplicemente un effetto anche indesiderato del suo uso. Questo può essere interpretato come un incentivo, per produttori e fornitori di software IA, a valutare meglio e in anticipo le possibili conseguenze dell’uso di tale software. Inoltre è apprezzabile, a mio avviso, che le vulnerabilità menzionate nella clausola non siano solo relative a disabilità, ma anche all’età o a situazioni sociali o economiche. Ancora una volta, può essere difficile stabilire se un sistema abbia distorto il comportamento di qualcuno e abbia causato (o possa ragionevolmente causare) danni significativi, ma questo è, inevitabilmente, un argomento per discussioni teoriche e analisi di casi reali, anche da una prospettiva legale. Questo vale anche per l’individuazione delle situazioni sociali o economiche a cui l’articolo si applica effettivamente.

Una considerazione personale, però: che dire dei sistemi alimentati dall’IA che, per esempio, stimolano un giovane utente a interagire con essi per parecchie ore, come sembra accadere con molti giochi online o social media (che coinvolgano o meno l’IA)? Non è anche questo uno sfruttamento di una vulnerabilità (non solo dei giovani)? Al momento, non sembra esserci una chiara evidenza che, per esempio, il networking sociale online influisca sugli aspetti normali del comportamento umano e causi disturbi di rilevanza psichiatrica (vedi ad esempio questo studio). Tuttavia, cosa succederebbe se queste evidenze diventassero più forti? Questi tipi di sistemi dovrebbero essere vietati? La mia risposta è sì, a meno che non vengano modificati in modo appropriato e tempestivo.

In this post, we continue the examination of Article 5 of the EU Artificial Intelligence Act, which sets fundamental legal boundaries and ethical standards for the use of AI applications within the EU territory. In the previous post, we examined a prohibition aimed to prevent the deployment of AI systems designed to become dangerous social actors by impairing people’s ability to make informed decisions, thereby causing them – actually or likely – significant harm.

The clause in comma 1, point (b) of the article is similar to some extent, in that it forbids “the placing on the market, the putting into service, or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability, or a specific social or economic situation, with the objective or the effect of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm.” In this case, the focus is clearly on protecting individuals or groups whose vulnerabilities may be exploited by AI systems, leading to a distortion of their behaviour that causes or it is reasonably likely to cause harm.

The prohibition considered in the preceding post emphasized the intentionality of the design of potentially malicious AI systems, but in this case the distortion of behaviour caused by a system may simply be an unwanted effect of its use. This seems to incentivize AI software producers and providers to better evaluate, in advance, the possible consequences of deploying such software. Furthermore, it is commendable, in my view, that the vulnerabilities referred to in the clause are not only related to disabilities, but also to age or social or economic situations. Again, whether a system has distorted someone’s behaviour and has therefore (reasonably likely) caused significant harm may be difficult to establish, but this is – unavoidably – a topic for theoretical discussions and examinations of real cases, even from a legal perspective. This also pertains to which social or economic situations the article actually covers.

A personal consideration, however: what about AI-powered systems that, for instance, stimulate a young user to spend many hours interacting with them, as it seems to be happening with a lot of online games or social media (whether or not AI is involved)? Isn’t this exploiting a vulnerability (not only of youngsters)? At the moment, there doesn’t appear to be clear evidence that, for example, online social networking affects normal aspects of human behaviour and causes psychiatric disorders (see for example this study). However, what if this evidence becomes stronger? Should these types of systems be prohibited? My answer is yes, unless they are modified, appropriately and timely.