L’Economist ha dedicato un approfondimento agli errori della scienza, io ne ho riferito con un articolo sul Corriere della sera e ora Elena Cattaneo mi ha inviato una lettera in cui commenta e sviluppa le argomentazioni dell’uno e dell’altro. La sua esperienza come ricercatrice in un campo importante ed esposto come le cellule staminali e il suo impegno di senatrice a favore della scienza rendono le sue considerazioni particolarmente interessanti. Quella che viviamo è l’età della conoscenza, ma anche una stagione fertile per pseudo-scienza e anti-scienza. Perciò la questione della fiducia che riponiamo nelle verità scientifiche tocca tutti: ricercatori, decisori politici, commentatori, cittadini, pazienti. Ecco quello che Cattaneo ha scritto.
Cara Anna, ho letto il tuo bell’articolo sul pezzo dell’Economist. Hai fatto bene a trattarlo. E’ un’allerta per gli scienziati affinché non vi sia mai indulgenza verso il proprio lavoro di ricerca. Quindi massimo rigore e tensione etica. Ma è anche molto vera la tua conclusione. Ovviamente io sono di parte ma ho sempre pensato che la visibilità della scienza fosse la garanzia migliore che la scienza possa offrire alla società circa il suo operato, la sua verificabilità e attendibilità. Tutti possono guardare, prendere, studiare, replicare, costruire. Ci sono anche ulteriori comportamenti perseguiti nei laboratori per ridurre il rischio d’errore o per contribuire anche quando i risultati sono negativi e li cito in relazione ai punti che sollevi, magari possono essere spunto per future elaborazioni:
1) pubblicare un risultato significa assumersi la responsabilità di riverificarne la solidità continuamente in laboratorio, meglio se con nuove persone che sopraggiungono. Questa per me è la regola numero uno. Credo sia veramente da pretendere con il proprio laboratorio e con i giovani che, a volte, tendono a correre troppo oltre la scoperta una volta raggiunta, tralasciando questa responsabilità. Mentre si prosegue sul meccanismo portato alla luce, può anche essere molto importante verificarne l’aspetto principale nei nuovi modelli di patologia che si rendono disponibile o attraverso disegni sperimentali diversi. Questo, in modo “selfish”, può anche aiutare a correggere la propria ricerca senza ricevere “lezioni da altri” o senza rischiare di credere universale “ciò che è proprio”, prima del tempo. Un esempio è il caso della ridotta produzione del fattore neuroprotettivo BDNF nell’Huntington che abbiamo osservato a partire dal 2001 (Zuccato et al., Science 2001). Per ora lo abbiamo verificato (e pubblicato) su 5 modelli animali. Altri gruppi hanno confermato questi risultati sugli stessi o altri animali e cellule, oltre che su materiale autoptico e i risultati di questi ricerche sono riassunti in 2 review articles sul ruolo del BDNF nella Malattia di Huntington (Zuccato and Cattaneo, Progress in Neurobiology, 2007; Zuccato e Cattaneo, Nature Reviews Neurology 2009). Forse solo dopo tutte queste verifiche si può sostenere che il BDNF sia veramente ridotto nel tessuto cerebrale di malati Huntington. Abbiamo anche come regola in laboratorio di ottenere da colleghi campioni di tessuto cerebrale da ogni nuovo modello animale di Huntington che si renda disponibile (ottenere tessuti, invece che animali, aiuta a contenere costi e effort) per verificare come si comportano i meccanismi principali che stiamo studiando. Come ulteriore controllo, i campioni sono chiesti in cieco. Tutto ciò può non essere semplice, costa tempo e organizzazione oltre al fatto che spesso queste verifiche continue non dispongono di fondi dedicati. Ma è un lavoro fondamentale per capire nel tempo il valore dei propri risultati.
2) Nel tuo articolo citi l’importanza della replica del risultato pubblicato da altri per verificarne l’affidabilità ma poi aggiungi che ciò è costoso (ovviamente) e se replicabile non c’è nulla da pubblicare… come a dire che questa verifica può non essere realizzabile o interessante per uno sperimentatore. A dire il vero, pensando al lavoro svolto in laboratorio, non ci è mai capitato di replicare un dato per il gusto di replicarlo – con la sola eccezione della riprogrammazione di Yamanaka perchè la scoperta era così sbalorditiva che dovevamo “vedere” noi stessi.Replicare il risultato di un altro è tuttavia solitamente il punto di partenza su cui il laboratorio vuole costruire il passo successivo. Non è mai fatto per la sola curiosità di verificare il risultato altrui. E ora che ci penso fu così anche per la scoperta di Yamanaka nel 2007. Ci eravamo detti “se funziona proviamo a generare linee cellulari iPS da pazienti Huntington”. E siamo stati i primi a produrre una collezione di tali cellule e a caratterizzarle (Camnasio, Neurobiology of Disease, 2011). Un laboratorio quindi investe nel replicare il dato di un altro gruppo perché serve per il nuovo obiettivo del laboratorio stesso. Se il dato non si replica, cade la tua ipotesi ma nel perseguirla hai accettato rischi e pericoli di costruire un pezzo nuovo di strada su scoperte di altri e di continuarla con ipotesi tue altrettanto rischiose. Aggiungo che non pubblicare un pezzo di lavoro svolto non è infrequente e non devasta. I giovani in tutti i laboratori spesso hanno più di un progetto per questo motivo: ridurre i rischi di insuccesso (anche per i loro CV). Se poi nel replicare i dati di altri si scoprono sbagliati c’è il dovere di segnalarlo alla rivista. Mi è capitato un paio di volte. A dire il vero è bastato leggere l’articolo per accorgersi che non poteva essere vero. Un caso è stato con il famoso articolo di Paolo De Coppi su Nature Biotechnology 2007 sulle cellule staminali amniotiche che, secondo il manoscritto, generavano neuroni. Ai tempi mandammo una replica al giornale (Toselli et al., Nature Biotechnology 2008), il quale l’ha pubblicata con la replica degli autori del manoscritto originale. Intanto ne discutevo separatamente con il Dr. De Coppi, che ho avuto modo di conoscere cosi’, per email, attraverso quelle critiche, ora pubbliche. Era un dovere allertare sull’insussistenza scientifica di quanto quell’articolo sosteneva a proposito della conversione a neuroni. Mentre preparavo la replica alla rivista, ricordo tra l’altro l’uscita del Prof. Francesco D’Agostino in una delle sedute del Comitato Nazionale per la Bioetica di cui per un anno ho fatto parte (ho poi dato le dimissioni). Venne con l’articolo del De Coppi – che non ha mai sollecitato i pensieri in tale direzione – e disse “Ora la storia delle embrionali è chiusa, le amniotiche sono pluripotenti come le embrionali”. Sei anni dopo nessuno o ben pochi (solo non scienziati – come il docente di psicologia Davide Vannoni) perdono il loro tempo provando o pensando di poter far credere che sia possibile generare neuroni esponendo cellule non omologhe a una serie di molecole solubili.
3) Nel tuo articolo sollevi il punto delle riviste scientifiche che non sono interessate ai dati negativi e che quindi questa parte di strada negativa percorsa dalla scienza non diventa visibile. E’ vero. Però se l’ ipotesi è forte e i dati che hanno spinto in quella direzione sono validi, in realtà si trova il modo di pubblicare dati negativi. Mi è capitato. L’ipotesi era addirittura una derivata di una nostra strada. Sulla base della dimostrazione dei ridotti livelli di BDNF nell’Huntington a livello centrale, abbiamo ipotizzato che i livelli periferici (nel sangue) della stessa molecola potessero essere egualmente ridotti e in tal caso la speranza era che la misura dei suoi livelli potesse fungere da biomarcatore periferico dello stato di malattia. Questo è un ambito della ricerca sulle malattie neurologiche molto importante poiché mira a identificare surrogati molecolari facilmente rivelabili nel paziente che ne testimonino lo stato di malattia (anche dopo trattamenti sperimentali). Contrariamente alle nostre attese e speranze, il BDNF non sembrava ridotto nel sangue di pazienti Huntington. Occorreva essere certi che questa strada fosse negativa perché diversi gruppi la stavano perseguendo. Questo lavoro è costato tre anni, centinaia di campioni e analisi, delusione, per poi dire “non è come pensavamo” e chiudere il progetto. Il risultato (negativo) l’abbiamo pubblicato (Zuccato et al., PlosOne 2011) e abbiamo spiegato perché era negativo: la variabilità della misura del BDNF con gli attuali metodi di prelievo dal paziente Huntington, la logistica degli ospedali, la metodica di stoccaggio etc rendeva questo tipo di valutazione inaffidabile. Abbiamo quindi chiuso sulla tecnologia e sollevato un’allerta sulle modalità tecniche della raccolta e del bancaggio dei campioni di sangue da pazienti Huntington. Abbiamo anche aggiunto una disamina della letteratura sulla misura del BDNF che andava nelle più disparate direzioni senza analizzare a fondo alcuni aspetti da noi riscontrati. Altri ci riproveranno ma dovranno prestare attenzione alle considerazioni che abbiamo pubblicato. Ora pensiamo con orgoglio a quel manoscritto negativo.
4) Circa la replicabilità, c’è un aspetto che credo sia importante citare. Noi tendiamo sempre a condividere i nostri reagenti migliori (cellule, topi, protocolli, costrutti etc) con altri gruppi di ricerca e ciò avviene spesso ben prima della pubblicazione. Lo facciamo per due motivi: (i) perché si collabora (questa è la seconda forza della scienza, oltre alla sua visibilità), (ii) perché il gruppo collaboratore può verificare i tuoi risultati ancora prima della pubblicazione. I progetti europei sono un canale preferenziale per questi scambi fornendo, nell’ambito del network, una sorta di “tutela” alla condivisione dei dati e reagenti. Ad esempio, nei consorzi che ho coordinato vi sono alcune regole che permettono verifiche tra gruppi prima che il risultato sia portato ad un livello superiore. Se si tratta di un metodo per generare neuroni da staminali, quel protocollo e la qualità delle cellule vengono verificate indipendentemente da almeno un altro gruppo che ottiene dal gruppo originario le stesse cellule e le analizza, trapianta etc… E da questo controllo reciproco escono pure altri dati che rafforzano o riducono le conclusioni. Siamo parte di un network americano. Un gruppo ha presentato dei dati. Ho avuto la presentazione (i dati sono “unpublished” ma scambiamo reciprocamente anche i power-point con i risultati). Analizzandola ci sono accorti di alcune inconsistenze. Le abbiamo scritte e mandate al gruppo. Ci può essere una certa resistenza ad “assumere” le critiche ma non vengono mai ignorate perché solitamente costruttive e anche perché tutti sanno che comunque uno scienziato ci torna. Sarebbe interessante capire se la percentuale di articoli non replicabili cambia a seconda che sia il risultato del lavoro di un solo team o di più gruppi che hanno lavorato insieme.
In ogni caso la conclusione del tuo articolo è importante. Volevo aggiungere altri elementi per dare un’idea delle strategie di cui la scienza dispone per controllare sé stessa. Pensiamo anche allo scambio di giovani che si muovono (ad esempio nell’ambito di progetti europei) da un laboratorio all’altro per imparare una metodica, o replicare il dato da importare nel proprio programma di ricerca o per vedere un protocollo di differenziamento. E’ di nuovo il “poter vedere” a scoprire le carte. In altre parole, credo che il sistema offra davvero possibilità uniche di controllare la propria produzione permettendo di rifinire, annullare o consolidare ciò che diventa visibile.
Cari saluti e grazie, Elena Cattaneo
L’Associazione Luca Coscioni è una associazione no profit di promozione sociale. Tra le sue priorità vi sono l’affermazione delle libertà civili e i diritti umani, in particolare quello alla scienza, l’assistenza personale autogestita, l’abbattimento della barriere architettoniche, le scelte di fine vita, la legalizzazione dell’eutanasia, l’accesso ai cannabinoidi medici e il monitoraggio mondiale di leggi e politiche in materia di scienza e auto-determinazione.
