In questo e in questo post, abbiamo discusso il ruolo dell’IA nella ricerca scientifica, facendo riferimento al lavoro della filosofa Inkeri Koskinen e alla nozione di fiducia necessaria. Concludiamo la discussione in questo post. Il problema essenziale è se un software IA possa essere considerato uno strumento come il telescopio spaziale Hubble o un algoritmo per eseguire calcoli altrimenti impossibili da completare in un tempo ragionevole. Facendo riferimento al lavoro di diversi autori, Koskinen conclude che non è così. La produzione di conoscenza attraverso Hubble e i comuni strumenti informatici, infatti, implica un sistema composto da umani e macchine dove gli umani sono in grado di assumersi la responsabilità del funzionamento dell’intero sistema e, contrariamente a quanto accade con l’IA, possono monitorare tutti i processi rilevanti.

D’altro canto Clark (2015) non ritiene che la possibilità di monitoraggio sia fondamentale, dal momento che nemmeno i nostri stessi processi mentali sono completamente trasparenti, né di solito chiediamo che lo siano. Perché, allora, pretendere che il funzionamento degli strumenti IA sia invece del tutto trasparente e monitorabile? Koskinen osserva, però, che anche secondo Clark la consapevolezza dei processi del pensiero diventa rilevante quando si trasmette ad altri conoscenza (e non semplici fatti) in modo sistematico, ad esempio scrivendo articoli scientifici o promuovendo metodi e pratiche che aiutino degli studenti a esplorare e testare le loro convinzioni e fonti, approfondendo così la loro comprensione (Koskinen, 2023). Cosa ancora più importante, esaminare criticamente i propri pensieri è una pratica scientifica essenziale per sostenere le conclusioni ottenute, poiché un buon scienziato è consapevole dei numerosi pregiudizi e delle altre insidie che possono influenzare il ragionamento umano. Inoltre, la giustificazione di un’affermazione è indipendente dagli effettivi processi cognitivi usati per ottenerla e deve essere pubblica e sottoponibile ad esame. Non è chiaro come tutto questo si possa ottenere usando un’applicazione IA opaca.

Clark, inoltre, osserva che quando incontriamo un nuovo strumento o tecnologia, esercitiamo un’attenzione extra per imparare a utilizzarlo e comprenderne potenzialità e limiti. Una volta che quello strumento o quella tecnologia sono completamente familiari, l’attenzione può essere ridotta e sostituita con ciò che si può chiamare “uso irriflessivo”; questo è compatibile con la fiducia necessaria discussa da Koskinen. Tuttavia, potrebbe dimostrarsi impossibile comprendere fino in fondo il funzionamento di un’applicazione IA. A un certo punto, poi, può darsi che l’output di uno strumento scientifico o di un software ordinario sia accettato in modo automatico, una condizione posta da Clark e Chalmers (1998) per poter considerare un oggetto parte del sistema cognitivo di un individuo. Tuttavia, anche questo potrebbe non essere possibile con un software IA.

In conclusione, come scrive Koskinen, l’introduzione di applicazioni IA opache nella scienza modifica significativamente il ruolo delle macchine in modi che dobbiamo ancora comprendere.

In this and this post, we have discussed the role of AI in scientific research, referring to the work of the philosopher Inkeri Koskinen and the notion of necessary trust. We conclude the discussion in this post. The essential problem is whether AI software can be considered a scientific instrument like, say, the Hubble Space Telescope, or a tool like an ordinary computer algorithm that allows us to carry out calculations that would otherwise be impossible to complete in any reasonable time. Referring to the work of several authors, Koskinen concludes that this is not the case. Indeed, knowledge production using the Hubble telescope and ordinary computer tools involves a system made of humans and machines where humans are able to take responsibility for the functioning of the whole and, contrary to what happens with AI, can monitor all the relevant processes.

On the other hand, Clark (2015) does not consider this monitoring ability as essential, since not even our own mind processes are fully transparent to us, nor do we typically require them to be so. Why, then, would we demand that the workings of AI tools be fully transparent and monitorable? As noted by Koskinen, though, even Clark observes that conscious awareness of our thought processes becomes relevant when we systematically transmit knowledge (and not simple facts) to others, such as when we write scientific papers or foster methods and practices that help students probe and test their beliefs and knowledge sources, thus deepening their understandings (Koskinen, 2023). Even more importantly, scrutinizing one’s thoughts is an essential scientific practice for supporting conclusions, as a good scientist is aware of the many biases and pitfalls that may affect human reasoning. Additionally, the justification of a claim is independent of the actual cognitive processes that led to it and must be public and scrutinizable. It is not clear how an opaque AI application can achieve all this.

Moreover, Clark notes that when we encounter a new tool or technology, we exercise extra care in learning to use it as well as in understanding its potentialities and limitations. Once complete familiarity with such a tool or technology is achieved, attention can be lowered and replaced with what can be called ‘unreflective use’; this is compatible with the necessary trust view discussed by Koskinen. However, with AI applications, there may never be a point where one fully understands the workings of the application at hand. Additionally, at a certain stage, it may be possible to automatically endorse the output of an ordinary scientific tool or software, a condition that Clark and Chalmers (1998) set for considering an object part of the cognitive system of an individual. However, even this may never be feasible with AI software.

In conclusion, as noted by Koskinen, the introduction of opaque AI applications to science significantly alters the role of machines in ways that we have yet to address.

In questo post abbiamo discusso il problema dell’uso dell’IA nella ricerca scientifica, concentrando l’attenzione sul lavoro della filosofa Inkeri Koskinen e sul concetto di ‘fiducia necessaria’. Proseguiamo la discussione in questo secondo post. Koskinen evidenzia che, in base alla letteratura, è accettabile che uno scienziato dipenda da strumenti di cui non comprende del tutto il funzionamento se qualcun altro capisce come questi strumenti funzionino, li ha realizzati seguendo diligentemente le procedure accettate, se ne assume la responsabilità in modo appropriato e giustificato dal punto di vista scientifico e può essere considerato affidabile.

Perciò, nella pratica scientifica e nell’ottica della fiducia necessaria, dipendere da strumenti il cui funzionamento non si comprende in ogni dettaglio è visto come una forma tipica di dipendenza da altri scienziati quali agenti che possono essere considerati responsabili e affidabili. L’integrazione delle applicazioni IA nella scienza, però, pone delle sfide.

Più di un decennio fa, Paul Humphreys ha individuato un problema chiave nell’uso delle simulazioni al computer, ossia la loro ‘opacità epistemica’. Questo concetto si riferisce all’incapacità intrinseca degli agenti umani di comprendere pienamente gli intricati dettagli e i processi di questi sistemi computazionali, a causa della loro natura complessa e della loro velocità.

Humphreys distingue tra opacità epistemica ordinaria (accidentale) ed essenziale. Nel primo caso c’è qualcuno, all’interno di un gruppo o comunità di ricerca, che comprende il funzionamento dello strumento, così che gli altri possano fidarsi della sua competenza secondo il punto di vista della fiducia necessaria. Tuttavia, l’uso di applicazioni IA che costituiscono delle ‘scatole nere’ (opacità essenziale) cambia questa dinamica. Queste applicazioni sono così complesse che nessun essere umano può comprenderle pienamente o esserne considerato del tutto responsabile, eliminando così la possibilità di una fiducia, razionalmente fondata, appunto in un agente responsabile.

Il problema si aggrava quando i sistemi IA incorporano decisioni (ad esempio quale risposta o interpretazione privilegiare se ci sono più possibilità) che non sono strettamente correlate al processo di produzione della conoscenza. Secondo la prospettiva della fiducia necessaria i ricercatori dovrebbero potersi fidare dei responsabili di queste decisioni, ma con l’IA un responsabile potrebbe non esserci.

In alcuni casi è possibile esaminare il funzionamento interno di uno strumento IA per determinare, in una certa misura, quali fattori hanno influenzato il risultato finale. Tuttavia, almeno nella mia esperienza, spesso questo esame non rivela un ‘ragionamento’ trasparente o comprensibile, specialmente in termini di relazioni di causa ed effetto. È, invece, qualcosa di simile a sondare una mente aliena, che arriva a una risposta potenzialmente corretta, ma con percorsi incomprensibili.

Quindi, come interpretare l’affidamento a strumenti di Intelligenza Artificiale? Questo argomento sarà esplorato nel prossimo e ultimo post dedicato al lavoro di Koskinen.

In this post we have discussed the problem of using AI in scientific research focusing on the work of the philosopher Inkeri Koskinen, and the notion of ‘necessary trust’. We continue the discussion in this second post. Koskinen points out that, according to the literature, a scientist’s reliance on instruments whose functioning she does not completely understand is acceptable if there is someone else who understands how these instruments work, has diligently followed accepted procedures, takes responsibility for them in a way that is appropriate and justified from a scientific point of view, and can be trusted.

Therefore, in scientific practices and under the necessary trust view, depending on instruments whose functioning is not understood in every detail is seen as a typical form of dependence on other scientists as agents capable of being held accountable and trusted. However, the integration of AI applications into science presents a challenge.

Paul Humphreys, over a decade ago, identified a key issue with computer simulations: their essential epistemic opacity. This concept refers to the inherent inability of human agents to fully comprehend the intricate details and processes of these computational systems, owing to their complex nature and speed. Humphreys distinguishes between ordinary (accidental) and essential epistemic opacity.

In the first case there is usually someone within the research group or community who understands the instrument’s workings, allowing others to trust their expertise according to the necessary trust view. However, the use of essentially opaque ‘black box’ AI applications changes this dynamic. These applications are so complex that no human can fully understand or be accountable for them, thus eliminating the possibility of rationally grounded trust in an accountable agent.

This problem is exacerbated when AI systems incorporate decisions (such as what answer or interpretation should be prioritized in case of multiple options) that are not strictly related to the knowledge production process. The necessary trust view holds that researchers should be able to trust the individuals responsible for these decisions. However, with AI there may be no such accountable individual.

In some cases, it may be possible to probe the inner workings of an AI tool to determine, to some extent, what factors influenced its final output. However, in my experience, the result of this probing often fails to provide a form of ‘reasoning’ transparent or understandable to humans, especially in terms of cause and effect relationships. It is more akin to probing an alien mind, one that arrives at a potentially correct answer, yet through inexplicable means.

How, then, can we interpret the reliance on AI tools? This question will be tackled in the next and final post on Koskinen’s work.

L’uso dell’IA si dimostra promettente in molti settori e progetti scientifici, dall’astronomia e astrofisica alla biochimica, e dall’ecologia alla progettazione di farmaci. I sistemi di intelligenza artificiale, infatti, possono essere impiegati per analizzare in tempi ragionevoli grandi quantità di dati con relazioni complesse, al fine di scoprire schemi, riconoscere elementi diversi o formulare previsioni.

Analogamente a un telescopio, l’IA si potrebbe considerare semplicemente come un altro strumento a disposizione della ricerca, utilizzabile con tranquillità una volta che si dimostri affidabile. Tuttavia, come suggerisce questo articolo di Inkeri Koskinen, questa visione va indagata più approfonditamente. Secondo l’autrice del lavoro una ‘fiducia necessaria’ è fondamentale per la ricerca scientifica collaborativa. Man mano la scienza diventa più complessa e specializzata, infatti, i singoli ricercatori non possono giustificare le proprie conclusioni in modo indipendente, ma solo facendo riferimento a conoscenze maturate da comunità scientifiche all’interno delle quali la fiducia nell’esperienza e nell’integrità dei colleghi gioca un ruolo indispensabile.

La fiducia necessaria non è fede cieca; è una fiducia razionale e controllata, coltivata attraverso meccanismi quali le discussioni critiche, la revisione degli articoli da parte di colleghi e la formazione. Queste misure sono pensate per minimizzare il ricorso alla fiducia in sé e per sé, permettendo la verifica a posteriori delle ricerche e la correzione degli errori. Nonostante questi controlli un certo livello di fiducia resta essenziale, in particolare perché i singoli ricercatori spesso non hanno le competenze per valutare in tutti i loro aspetti i contributi specialistici degli altri.

La nozione di fiducia ha diverse interpretazioni filosofiche, che spaziano dalle concezioni ‘spesse’ a quelle ‘sottili’. Le prime enfatizzano gli aspetti morali e affettivi della fiducia, suggerendo che questa possa essere diretta solo verso agenti capaci di responsabilità morale. Queste interpretazioni implicano che la fiducia sia profondamente legata alla buona volontà e a considerazioni morali come l’integrità e la coscienziosità. Le concezioni ‘sottili’, d’altra parte, non pongono l’accento sugli elementi morali e affettivi, ma vedono la fiducia più come una forma di affidamento che può estendersi anche alle macchine.

Nel contesto della collaborazione scientifica, secondo Koskinen, la fiducia necessaria è di tipo ‘spesso’. Ciò significa che gli scienziati devono fidarsi gli uni degli altri andando oltre il semplice affidamento e aspettandosi che nel loro lavoro i colleghi si assumano una responsabilità morale. Questa fiducia è cruciale perché gli scienziati dipendono dal lavoro di altri in modi che, spesso, non sono del tutto evidenti. Devono quindi fidarsi del fatto che i colleghi non siano disonesti o negligenti, che aderiscano a procedure accettate collettivamente e che mantengano l’oggettività.

La fiducia, qui, è ricca sul piano morale ma razionalmente fondata, e implica una gestione dei rischi coinvolti nell’acquisizione della conoscenza. È un riconoscimento della piena agenzia e responsabilità morale degli altri scienziati.

Se la fiducia necessaria può esistere solo tra agenti responsabili delle loro azioni non può estendersi ai sistemi di IA. Questo, a prima vista, non sembrerebbe un problema, perché l’IA – come scritto sopra – potrebbe semplicemente essere considerata una sorta di strumento utilizzabile con tranquillità ogni volta che si dimostra affidabile. Il lavoro di Koskinen, tuttavia, mette in discussione questa conclusione, come approfondiremo nel prossimo post.

AI has shown promise in numerous scientific fields and projects, from astronomy and astrophysics to biochemistry, and from ecology to drug design. Indeed, AI systems can be used for analysing vast amounts of data with complex relationships in a reasonable time, discovering patterns, recognizing features, or making predictions.

At first, AI might be seen as just another scientific tool, akin to a telescope, that can safely be used whenever it proves to be reliable. Yet, as suggested in this paper by Inkeri Koskinen, this view of the role of AI in science deserves a closer look. The concept of necessary trust, which Koskinen deems pivotal in collaborative scientific research, comes into play here. As science grows more complex and specialized, individual researchers cannot independently justify knowledge claims. Instead, they rely on a collective approach, where trust in the expertise and integrity of colleagues is indispensable.

This necessary trust isn’t about blind faith; it’s a rational, controlled trust cultivated through mechanisms like critical discussions, peer review, and training. These measures are designed to minimize the need for blind trust, enabling retrospective verification of work and correction of errors. Despite these controls, a certain level of trust remains essential, particularly as individual researchers often lack the expertise to fully assess each other’s specialized contributions.

Different philosophical accounts vary in how they interpret trust, ranging from ‘thick’ to ‘thin’ conceptions. ‘Thick’ accounts emphasize the moral and affective aspects of trust, suggesting that it is only appropriate towards agents capable of moral responsibility. In these views, trust involves depending on the goodwill of others and is deeply affected by moral considerations like integrity and conscientiousness. ‘Thin’ accounts, on the other hand, view trust more as a form of reliance, without strongly emphasizing the moral and affective elements, and can extend to non-agents like machines.

In the context of scientific collaboration, according to Koskinen, the necessary trust is of the ‘thick’ variety. This means scientists need to trust each other beyond simple reliance, expecting moral responsibility in their colleagues’ work. This trust is crucial because scientists often depend on each other’s work in ways that are not fully transparent to them. They must trust that their colleagues will not engage in fraudulent or careless work, that they will adhere to collectively accepted procedures, and that they will preserve objectivity.

Trust, here, is morally rich but rationally grounded and involves managing the risks involved in knowledge acquisition. It’s a recognition of the full agency and moral responsibility of fellow scientists.

This understanding of trust presents a problem when applied to AI systems. Since necessary trust can only exist among agents accountable for their actions, it cannot extend to AI systems. Initially, this might not seem problematic, as AI could be regarded as a sort of instrument that can safely be used whenever it proves reliable, as written above. However, Koskinen’s perspective challenges this notion. In my next post, I plan to delve more thoroughly into this topic.