Nei tre post precedenti abbiamo considerato alcuni dei problemi legati all’uso dell’intelligenza artificiale nella ricerca scientifica. Questo articolo di Lisa Messeri e Molly J. Crockett pubblicato su Nature, e questa intervista alle autrici su Scientific American, ampliano la discussione. Messeri e Crockett esaminano quattro “visioni dell’IA”, attualmente in fase di esplorazione e proposta, ma non ancora del tutto implementate. Queste visioni sono chiamate Surrogato, Oracolo, Analista quantitativo e Arbitro. Il Surrogato sostituisce i soggetti umani, l’Oracolo sintetizza la ricerca esistente per produrre risultati come recensioni o nuove ipotesi, l’Analista elabora grandi quantità di dati, e l’Arbitro valuta la ricerca.

L’articolo su Nature descrive come mettere in atto queste visioni dell’IA potrebbe rendere la scienza meno innovativa, meno diversificata e più vulnerabile agli errori, e al contempo aprire una fase dell’indagine scientifica in cui vengono prodotti più contenuti, ma si riduce la comprensione reale dei fenomeni. Al termine della loro intervista su Scientific American, Messeri e Crockett osservano come la formazione scientifica ponga un forte accento sull’eliminazione non solo dei pregiudizi e degli errori concettuali, ma anche dell’esperienza personale e delle opinioni. I laboratori con IA “a guida autonoma”, auspicati da alcuni, sembrano realizzare questo ideale. Tuttavia, osservano le autrici, è sempre più evidente come la presenza di scienziati con idee, esperienze e formazioni diverse sia fondamentale per produrre conoscenze solide, innovative e creative. Questa diversità non andrebbe persa. Per mantenere alta la qualità e la vitalità della produzione scientifica, è importante assicurarsi che gli esseri umani rimangano una parte fondamentale del processo.

In the previous three posts we have considered some of the issues posed by using AI in scientific research. This paper by Lisa Messeri and Molly J. Crockett published on Nature and this interview with the authors on Scientific American add to, and extend, the arguments on such a problematic status of AI. The authors examine four ‘visions of AI’, which are currently under exploration and proposal but not yet fully implemented. These visions are named Surrogate, Oracle, Quant, and Arbiter. The Surrogate replaces human subjects, the Oracle synthesizes existing research to produce outputs such as reviews or new hypotheses, the Quant processes large amounts of data, and the Arbiter evaluates research.

Nature’s paper describes how implementing such visions of AI may actually make science less innovative, diverse, and more vulnerable to errors, and may introduce a phase of scientific enquiry where more contents are produced but less understanding is gained. At the end of their interview on Scientific American Messeri and Crockett note that in scientific training there’s a strong emphasis on removing from the scientific method not only biases, but also personal experiences and opinions. Autonomous, AI “self-driving” labs, as desired by some, seem to realize this ideal. However, the authors note, it’s becoming more and more apparent that having scientists with diverse thoughts, experiences, and training is crucial for producing robust, innovative, and creative knowledge. This diversity shouldn’t be lost. To keep the quality and vitality of scientific knowledge production high, it’s important to ensure that humans remain a key part of the process.

In questo e in questo post, abbiamo discusso il ruolo dell’IA nella ricerca scientifica, facendo riferimento al lavoro della filosofa Inkeri Koskinen e alla nozione di fiducia necessaria. Concludiamo la discussione in questo post. Il problema essenziale è se un software IA possa essere considerato uno strumento come il telescopio spaziale Hubble o un algoritmo per eseguire calcoli altrimenti impossibili da completare in un tempo ragionevole. Facendo riferimento al lavoro di diversi autori, Koskinen conclude che non è così. La produzione di conoscenza attraverso Hubble e i comuni strumenti informatici, infatti, implica un sistema composto da umani e macchine dove gli umani sono in grado di assumersi la responsabilità del funzionamento dell’intero sistema e, contrariamente a quanto accade con l’IA, possono monitorare tutti i processi rilevanti.

D’altro canto Clark (2015) non ritiene che la possibilità di monitoraggio sia fondamentale, dal momento che nemmeno i nostri stessi processi mentali sono completamente trasparenti, né di solito chiediamo che lo siano. Perché, allora, pretendere che il funzionamento degli strumenti IA sia invece del tutto trasparente e monitorabile? Koskinen osserva, però, che anche secondo Clark la consapevolezza dei processi del pensiero diventa rilevante quando si trasmette ad altri conoscenza (e non semplici fatti) in modo sistematico, ad esempio scrivendo articoli scientifici o promuovendo metodi e pratiche che aiutino degli studenti a esplorare e testare le loro convinzioni e fonti, approfondendo così la loro comprensione (Koskinen, 2023). Cosa ancora più importante, esaminare criticamente i propri pensieri è una pratica scientifica essenziale per sostenere le conclusioni ottenute, poiché un buon scienziato è consapevole dei numerosi pregiudizi e delle altre insidie che possono influenzare il ragionamento umano. Inoltre, la giustificazione di un’affermazione è indipendente dagli effettivi processi cognitivi usati per ottenerla e deve essere pubblica e sottoponibile ad esame. Non è chiaro come tutto questo si possa ottenere usando un’applicazione IA opaca.

Clark, inoltre, osserva che quando incontriamo un nuovo strumento o tecnologia, esercitiamo un’attenzione extra per imparare a utilizzarlo e comprenderne potenzialità e limiti. Una volta che quello strumento o quella tecnologia sono completamente familiari, l’attenzione può essere ridotta e sostituita con ciò che si può chiamare “uso irriflessivo”; questo è compatibile con la fiducia necessaria discussa da Koskinen. Tuttavia, potrebbe dimostrarsi impossibile comprendere fino in fondo il funzionamento di un’applicazione IA. A un certo punto, poi, può darsi che l’output di uno strumento scientifico o di un software ordinario sia accettato in modo automatico, una condizione posta da Clark e Chalmers (1998) per poter considerare un oggetto parte del sistema cognitivo di un individuo. Tuttavia, anche questo potrebbe non essere possibile con un software IA.

In conclusione, come scrive Koskinen, l’introduzione di applicazioni IA opache nella scienza modifica significativamente il ruolo delle macchine in modi che dobbiamo ancora comprendere.

In this and this post, we have discussed the role of AI in scientific research, referring to the work of the philosopher Inkeri Koskinen and the notion of necessary trust. We conclude the discussion in this post. The essential problem is whether AI software can be considered a scientific instrument like, say, the Hubble Space Telescope, or a tool like an ordinary computer algorithm that allows us to carry out calculations that would otherwise be impossible to complete in any reasonable time. Referring to the work of several authors, Koskinen concludes that this is not the case. Indeed, knowledge production using the Hubble telescope and ordinary computer tools involves a system made of humans and machines where humans are able to take responsibility for the functioning of the whole and, contrary to what happens with AI, can monitor all the relevant processes.

On the other hand, Clark (2015) does not consider this monitoring ability as essential, since not even our own mind processes are fully transparent to us, nor do we typically require them to be so. Why, then, would we demand that the workings of AI tools be fully transparent and monitorable? As noted by Koskinen, though, even Clark observes that conscious awareness of our thought processes becomes relevant when we systematically transmit knowledge (and not simple facts) to others, such as when we write scientific papers or foster methods and practices that help students probe and test their beliefs and knowledge sources, thus deepening their understandings (Koskinen, 2023). Even more importantly, scrutinizing one’s thoughts is an essential scientific practice for supporting conclusions, as a good scientist is aware of the many biases and pitfalls that may affect human reasoning. Additionally, the justification of a claim is independent of the actual cognitive processes that led to it and must be public and scrutinizable. It is not clear how an opaque AI application can achieve all this.

Moreover, Clark notes that when we encounter a new tool or technology, we exercise extra care in learning to use it as well as in understanding its potentialities and limitations. Once complete familiarity with such a tool or technology is achieved, attention can be lowered and replaced with what can be called ‘unreflective use’; this is compatible with the necessary trust view discussed by Koskinen. However, with AI applications, there may never be a point where one fully understands the workings of the application at hand. Additionally, at a certain stage, it may be possible to automatically endorse the output of an ordinary scientific tool or software, a condition that Clark and Chalmers (1998) set for considering an object part of the cognitive system of an individual. However, even this may never be feasible with AI software.

In conclusion, as noted by Koskinen, the introduction of opaque AI applications to science significantly alters the role of machines in ways that we have yet to address.

In questo post abbiamo discusso il problema dell’uso dell’IA nella ricerca scientifica, concentrando l’attenzione sul lavoro della filosofa Inkeri Koskinen e sul concetto di ‘fiducia necessaria’. Proseguiamo la discussione in questo secondo post. Koskinen evidenzia che, in base alla letteratura, è accettabile che uno scienziato dipenda da strumenti di cui non comprende del tutto il funzionamento se qualcun altro capisce come questi strumenti funzionino, li ha realizzati seguendo diligentemente le procedure accettate, se ne assume la responsabilità in modo appropriato e giustificato dal punto di vista scientifico e può essere considerato affidabile.

Perciò, nella pratica scientifica e nell’ottica della fiducia necessaria, dipendere da strumenti il cui funzionamento non si comprende in ogni dettaglio è visto come una forma tipica di dipendenza da altri scienziati quali agenti che possono essere considerati responsabili e affidabili. L’integrazione delle applicazioni IA nella scienza, però, pone delle sfide.

Più di un decennio fa, Paul Humphreys ha individuato un problema chiave nell’uso delle simulazioni al computer, ossia la loro ‘opacità epistemica’. Questo concetto si riferisce all’incapacità intrinseca degli agenti umani di comprendere pienamente gli intricati dettagli e i processi di questi sistemi computazionali, a causa della loro natura complessa e della loro velocità.

Humphreys distingue tra opacità epistemica ordinaria (accidentale) ed essenziale. Nel primo caso c’è qualcuno, all’interno di un gruppo o comunità di ricerca, che comprende il funzionamento dello strumento, così che gli altri possano fidarsi della sua competenza secondo il punto di vista della fiducia necessaria. Tuttavia, l’uso di applicazioni IA che costituiscono delle ‘scatole nere’ (opacità essenziale) cambia questa dinamica. Queste applicazioni sono così complesse che nessun essere umano può comprenderle pienamente o esserne considerato del tutto responsabile, eliminando così la possibilità di una fiducia, razionalmente fondata, appunto in un agente responsabile.

Il problema si aggrava quando i sistemi IA incorporano decisioni (ad esempio quale risposta o interpretazione privilegiare se ci sono più possibilità) che non sono strettamente correlate al processo di produzione della conoscenza. Secondo la prospettiva della fiducia necessaria i ricercatori dovrebbero potersi fidare dei responsabili di queste decisioni, ma con l’IA un responsabile potrebbe non esserci.

In alcuni casi è possibile esaminare il funzionamento interno di uno strumento IA per determinare, in una certa misura, quali fattori hanno influenzato il risultato finale. Tuttavia, almeno nella mia esperienza, spesso questo esame non rivela un ‘ragionamento’ trasparente o comprensibile, specialmente in termini di relazioni di causa ed effetto. È, invece, qualcosa di simile a sondare una mente aliena, che arriva a una risposta potenzialmente corretta, ma con percorsi incomprensibili.

Quindi, come interpretare l’affidamento a strumenti di Intelligenza Artificiale? Questo argomento sarà esplorato nel prossimo e ultimo post dedicato al lavoro di Koskinen.

In this post we have discussed the problem of using AI in scientific research focusing on the work of the philosopher Inkeri Koskinen, and the notion of ‘necessary trust’. We continue the discussion in this second post. Koskinen points out that, according to the literature, a scientist’s reliance on instruments whose functioning she does not completely understand is acceptable if there is someone else who understands how these instruments work, has diligently followed accepted procedures, takes responsibility for them in a way that is appropriate and justified from a scientific point of view, and can be trusted.

Therefore, in scientific practices and under the necessary trust view, depending on instruments whose functioning is not understood in every detail is seen as a typical form of dependence on other scientists as agents capable of being held accountable and trusted. However, the integration of AI applications into science presents a challenge.

Paul Humphreys, over a decade ago, identified a key issue with computer simulations: their essential epistemic opacity. This concept refers to the inherent inability of human agents to fully comprehend the intricate details and processes of these computational systems, owing to their complex nature and speed. Humphreys distinguishes between ordinary (accidental) and essential epistemic opacity.

In the first case there is usually someone within the research group or community who understands the instrument’s workings, allowing others to trust their expertise according to the necessary trust view. However, the use of essentially opaque ‘black box’ AI applications changes this dynamic. These applications are so complex that no human can fully understand or be accountable for them, thus eliminating the possibility of rationally grounded trust in an accountable agent.

This problem is exacerbated when AI systems incorporate decisions (such as what answer or interpretation should be prioritized in case of multiple options) that are not strictly related to the knowledge production process. The necessary trust view holds that researchers should be able to trust the individuals responsible for these decisions. However, with AI there may be no such accountable individual.

In some cases, it may be possible to probe the inner workings of an AI tool to determine, to some extent, what factors influenced its final output. However, in my experience, the result of this probing often fails to provide a form of ‘reasoning’ transparent or understandable to humans, especially in terms of cause and effect relationships. It is more akin to probing an alien mind, one that arrives at a potentially correct answer, yet through inexplicable means.

How, then, can we interpret the reliance on AI tools? This question will be tackled in the next and final post on Koskinen’s work.

L’uso dell’IA si dimostra promettente in molti settori e progetti scientifici, dall’astronomia e astrofisica alla biochimica, e dall’ecologia alla progettazione di farmaci. I sistemi di intelligenza artificiale, infatti, possono essere impiegati per analizzare in tempi ragionevoli grandi quantità di dati con relazioni complesse, al fine di scoprire schemi, riconoscere elementi diversi o formulare previsioni.

Analogamente a un telescopio, l’IA si potrebbe considerare semplicemente come un altro strumento a disposizione della ricerca, utilizzabile con tranquillità una volta che si dimostri affidabile. Tuttavia, come suggerisce questo articolo di Inkeri Koskinen, questa visione va indagata più approfonditamente. Secondo l’autrice del lavoro una ‘fiducia necessaria’ è fondamentale per la ricerca scientifica collaborativa. Man mano la scienza diventa più complessa e specializzata, infatti, i singoli ricercatori non possono giustificare le proprie conclusioni in modo indipendente, ma solo facendo riferimento a conoscenze maturate da comunità scientifiche all’interno delle quali la fiducia nell’esperienza e nell’integrità dei colleghi gioca un ruolo indispensabile.

La fiducia necessaria non è fede cieca; è una fiducia razionale e controllata, coltivata attraverso meccanismi quali le discussioni critiche, la revisione degli articoli da parte di colleghi e la formazione. Queste misure sono pensate per minimizzare il ricorso alla fiducia in sé e per sé, permettendo la verifica a posteriori delle ricerche e la correzione degli errori. Nonostante questi controlli un certo livello di fiducia resta essenziale, in particolare perché i singoli ricercatori spesso non hanno le competenze per valutare in tutti i loro aspetti i contributi specialistici degli altri.

La nozione di fiducia ha diverse interpretazioni filosofiche, che spaziano dalle concezioni ‘spesse’ a quelle ‘sottili’. Le prime enfatizzano gli aspetti morali e affettivi della fiducia, suggerendo che questa possa essere diretta solo verso agenti capaci di responsabilità morale. Queste interpretazioni implicano che la fiducia sia profondamente legata alla buona volontà e a considerazioni morali come l’integrità e la coscienziosità. Le concezioni ‘sottili’, d’altra parte, non pongono l’accento sugli elementi morali e affettivi, ma vedono la fiducia più come una forma di affidamento che può estendersi anche alle macchine.

Nel contesto della collaborazione scientifica, secondo Koskinen, la fiducia necessaria è di tipo ‘spesso’. Ciò significa che gli scienziati devono fidarsi gli uni degli altri andando oltre il semplice affidamento e aspettandosi che nel loro lavoro i colleghi si assumano una responsabilità morale. Questa fiducia è cruciale perché gli scienziati dipendono dal lavoro di altri in modi che, spesso, non sono del tutto evidenti. Devono quindi fidarsi del fatto che i colleghi non siano disonesti o negligenti, che aderiscano a procedure accettate collettivamente e che mantengano l’oggettività.

La fiducia, qui, è ricca sul piano morale ma razionalmente fondata, e implica una gestione dei rischi coinvolti nell’acquisizione della conoscenza. È un riconoscimento della piena agenzia e responsabilità morale degli altri scienziati.

Se la fiducia necessaria può esistere solo tra agenti responsabili delle loro azioni non può estendersi ai sistemi di IA. Questo, a prima vista, non sembrerebbe un problema, perché l’IA – come scritto sopra – potrebbe semplicemente essere considerata una sorta di strumento utilizzabile con tranquillità ogni volta che si dimostra affidabile. Il lavoro di Koskinen, tuttavia, mette in discussione questa conclusione, come approfondiremo nel prossimo post.