Nei tre post precedenti abbiamo considerato alcuni dei problemi legati all’uso dell’intelligenza artificiale nella ricerca scientifica. Questo articolo di Lisa Messeri e Molly J. Crockett pubblicato su Nature, e questa intervista alle autrici su Scientific American, ampliano la discussione. Messeri e Crockett esaminano quattro “visioni dell’IA”, attualmente in fase di esplorazione e proposta, ma non ancora del tutto implementate. Queste visioni sono chiamate Surrogato, Oracolo, Analista quantitativo e Arbitro. Il Surrogato sostituisce i soggetti umani, l’Oracolo sintetizza la ricerca esistente per produrre risultati come recensioni o nuove ipotesi, l’Analista elabora grandi quantità di dati, e l’Arbitro valuta la ricerca.

L’articolo su Nature descrive come mettere in atto queste visioni dell’IA potrebbe rendere la scienza meno innovativa, meno diversificata e più vulnerabile agli errori, e al contempo aprire una fase dell’indagine scientifica in cui vengono prodotti più contenuti, ma si riduce la comprensione reale dei fenomeni. Al termine della loro intervista su Scientific American, Messeri e Crockett osservano come la formazione scientifica ponga un forte accento sull’eliminazione non solo dei pregiudizi e degli errori concettuali, ma anche dell’esperienza personale e delle opinioni. I laboratori con IA “a guida autonoma”, auspicati da alcuni, sembrano realizzare questo ideale. Tuttavia, osservano le autrici, è sempre più evidente come la presenza di scienziati con idee, esperienze e formazioni diverse sia fondamentale per produrre conoscenze solide, innovative e creative. Questa diversità non andrebbe persa. Per mantenere alta la qualità e la vitalità della produzione scientifica, è importante assicurarsi che gli esseri umani rimangano una parte fondamentale del processo.

In the previous three posts we have considered some of the issues posed by using AI in scientific research. This paper by Lisa Messeri and Molly J. Crockett published on Nature and this interview with the authors on Scientific American add to, and extend, the arguments on such a problematic status of AI. The authors examine four ‘visions of AI’, which are currently under exploration and proposal but not yet fully implemented. These visions are named Surrogate, Oracle, Quant, and Arbiter. The Surrogate replaces human subjects, the Oracle synthesizes existing research to produce outputs such as reviews or new hypotheses, the Quant processes large amounts of data, and the Arbiter evaluates research.

Nature’s paper describes how implementing such visions of AI may actually make science less innovative, diverse, and more vulnerable to errors, and may introduce a phase of scientific enquiry where more contents are produced but less understanding is gained. At the end of their interview on Scientific American Messeri and Crockett note that in scientific training there’s a strong emphasis on removing from the scientific method not only biases, but also personal experiences and opinions. Autonomous, AI “self-driving” labs, as desired by some, seem to realize this ideal. However, the authors note, it’s becoming more and more apparent that having scientists with diverse thoughts, experiences, and training is crucial for producing robust, innovative, and creative knowledge. This diversity shouldn’t be lost. To keep the quality and vitality of scientific knowledge production high, it’s important to ensure that humans remain a key part of the process.

In questo e in questo post, abbiamo discusso il ruolo dell’IA nella ricerca scientifica, facendo riferimento al lavoro della filosofa Inkeri Koskinen e alla nozione di fiducia necessaria. Concludiamo la discussione in questo post. Il problema essenziale è se un software IA possa essere considerato uno strumento come il telescopio spaziale Hubble o un algoritmo per eseguire calcoli altrimenti impossibili da completare in un tempo ragionevole. Facendo riferimento al lavoro di diversi autori, Koskinen conclude che non è così. La produzione di conoscenza attraverso Hubble e i comuni strumenti informatici, infatti, implica un sistema composto da umani e macchine dove gli umani sono in grado di assumersi la responsabilità del funzionamento dell’intero sistema e, contrariamente a quanto accade con l’IA, possono monitorare tutti i processi rilevanti.

D’altro canto Clark (2015) non ritiene che la possibilità di monitoraggio sia fondamentale, dal momento che nemmeno i nostri stessi processi mentali sono completamente trasparenti, né di solito chiediamo che lo siano. Perché, allora, pretendere che il funzionamento degli strumenti IA sia invece del tutto trasparente e monitorabile? Koskinen osserva, però, che anche secondo Clark la consapevolezza dei processi del pensiero diventa rilevante quando si trasmette ad altri conoscenza (e non semplici fatti) in modo sistematico, ad esempio scrivendo articoli scientifici o promuovendo metodi e pratiche che aiutino degli studenti a esplorare e testare le loro convinzioni e fonti, approfondendo così la loro comprensione (Koskinen, 2023). Cosa ancora più importante, esaminare criticamente i propri pensieri è una pratica scientifica essenziale per sostenere le conclusioni ottenute, poiché un buon scienziato è consapevole dei numerosi pregiudizi e delle altre insidie che possono influenzare il ragionamento umano. Inoltre, la giustificazione di un’affermazione è indipendente dagli effettivi processi cognitivi usati per ottenerla e deve essere pubblica e sottoponibile ad esame. Non è chiaro come tutto questo si possa ottenere usando un’applicazione IA opaca.

Clark, inoltre, osserva che quando incontriamo un nuovo strumento o tecnologia, esercitiamo un’attenzione extra per imparare a utilizzarlo e comprenderne potenzialità e limiti. Una volta che quello strumento o quella tecnologia sono completamente familiari, l’attenzione può essere ridotta e sostituita con ciò che si può chiamare “uso irriflessivo”; questo è compatibile con la fiducia necessaria discussa da Koskinen. Tuttavia, potrebbe dimostrarsi impossibile comprendere fino in fondo il funzionamento di un’applicazione IA. A un certo punto, poi, può darsi che l’output di uno strumento scientifico o di un software ordinario sia accettato in modo automatico, una condizione posta da Clark e Chalmers (1998) per poter considerare un oggetto parte del sistema cognitivo di un individuo. Tuttavia, anche questo potrebbe non essere possibile con un software IA.

In conclusione, come scrive Koskinen, l’introduzione di applicazioni IA opache nella scienza modifica significativamente il ruolo delle macchine in modi che dobbiamo ancora comprendere.

In this and this post, we have discussed the role of AI in scientific research, referring to the work of the philosopher Inkeri Koskinen and the notion of necessary trust. We conclude the discussion in this post. The essential problem is whether AI software can be considered a scientific instrument like, say, the Hubble Space Telescope, or a tool like an ordinary computer algorithm that allows us to carry out calculations that would otherwise be impossible to complete in any reasonable time. Referring to the work of several authors, Koskinen concludes that this is not the case. Indeed, knowledge production using the Hubble telescope and ordinary computer tools involves a system made of humans and machines where humans are able to take responsibility for the functioning of the whole and, contrary to what happens with AI, can monitor all the relevant processes.

On the other hand, Clark (2015) does not consider this monitoring ability as essential, since not even our own mind processes are fully transparent to us, nor do we typically require them to be so. Why, then, would we demand that the workings of AI tools be fully transparent and monitorable? As noted by Koskinen, though, even Clark observes that conscious awareness of our thought processes becomes relevant when we systematically transmit knowledge (and not simple facts) to others, such as when we write scientific papers or foster methods and practices that help students probe and test their beliefs and knowledge sources, thus deepening their understandings (Koskinen, 2023). Even more importantly, scrutinizing one’s thoughts is an essential scientific practice for supporting conclusions, as a good scientist is aware of the many biases and pitfalls that may affect human reasoning. Additionally, the justification of a claim is independent of the actual cognitive processes that led to it and must be public and scrutinizable. It is not clear how an opaque AI application can achieve all this.

Moreover, Clark notes that when we encounter a new tool or technology, we exercise extra care in learning to use it as well as in understanding its potentialities and limitations. Once complete familiarity with such a tool or technology is achieved, attention can be lowered and replaced with what can be called ‘unreflective use’; this is compatible with the necessary trust view discussed by Koskinen. However, with AI applications, there may never be a point where one fully understands the workings of the application at hand. Additionally, at a certain stage, it may be possible to automatically endorse the output of an ordinary scientific tool or software, a condition that Clark and Chalmers (1998) set for considering an object part of the cognitive system of an individual. However, even this may never be feasible with AI software.

In conclusion, as noted by Koskinen, the introduction of opaque AI applications to science significantly alters the role of machines in ways that we have yet to address.

In questo post abbiamo discusso il problema dell’uso dell’IA nella ricerca scientifica, concentrando l’attenzione sul lavoro della filosofa Inkeri Koskinen e sul concetto di ‘fiducia necessaria’. Proseguiamo la discussione in questo secondo post. Koskinen evidenzia che, in base alla letteratura, è accettabile che uno scienziato dipenda da strumenti di cui non comprende del tutto il funzionamento se qualcun altro capisce come questi strumenti funzionino, li ha realizzati seguendo diligentemente le procedure accettate, se ne assume la responsabilità in modo appropriato e giustificato dal punto di vista scientifico e può essere considerato affidabile.

Perciò, nella pratica scientifica e nell’ottica della fiducia necessaria, dipendere da strumenti il cui funzionamento non si comprende in ogni dettaglio è visto come una forma tipica di dipendenza da altri scienziati quali agenti che possono essere considerati responsabili e affidabili. L’integrazione delle applicazioni IA nella scienza, però, pone delle sfide.

Più di un decennio fa, Paul Humphreys ha individuato un problema chiave nell’uso delle simulazioni al computer, ossia la loro ‘opacità epistemica’. Questo concetto si riferisce all’incapacità intrinseca degli agenti umani di comprendere pienamente gli intricati dettagli e i processi di questi sistemi computazionali, a causa della loro natura complessa e della loro velocità.

Humphreys distingue tra opacità epistemica ordinaria (accidentale) ed essenziale. Nel primo caso c’è qualcuno, all’interno di un gruppo o comunità di ricerca, che comprende il funzionamento dello strumento, così che gli altri possano fidarsi della sua competenza secondo il punto di vista della fiducia necessaria. Tuttavia, l’uso di applicazioni IA che costituiscono delle ‘scatole nere’ (opacità essenziale) cambia questa dinamica. Queste applicazioni sono così complesse che nessun essere umano può comprenderle pienamente o esserne considerato del tutto responsabile, eliminando così la possibilità di una fiducia, razionalmente fondata, appunto in un agente responsabile.

Il problema si aggrava quando i sistemi IA incorporano decisioni (ad esempio quale risposta o interpretazione privilegiare se ci sono più possibilità) che non sono strettamente correlate al processo di produzione della conoscenza. Secondo la prospettiva della fiducia necessaria i ricercatori dovrebbero potersi fidare dei responsabili di queste decisioni, ma con l’IA un responsabile potrebbe non esserci.

In alcuni casi è possibile esaminare il funzionamento interno di uno strumento IA per determinare, in una certa misura, quali fattori hanno influenzato il risultato finale. Tuttavia, almeno nella mia esperienza, spesso questo esame non rivela un ‘ragionamento’ trasparente o comprensibile, specialmente in termini di relazioni di causa ed effetto. È, invece, qualcosa di simile a sondare una mente aliena, che arriva a una risposta potenzialmente corretta, ma con percorsi incomprensibili.

Quindi, come interpretare l’affidamento a strumenti di Intelligenza Artificiale? Questo argomento sarà esplorato nel prossimo e ultimo post dedicato al lavoro di Koskinen.