Il mestiere della scienza

(...in settimana dovrei restituire tre referee report a tre distinti giornali: due in classe A - seconde letture - e uno Scopus - i colleghi sanno di che si tratta. I primi due, fra l'altro, sono seconde letture. Mi pare sia invalso l'uso di assegnare ai paper su temi "caldi" - che sono quelli dei quali mi occupo io - tre referee. Inoltre, almeno Elsevier, probabilmente la più rilevante fra le case editrici, ha preso l'abitudine di inviarti, quando ti chiede la seconda lettura, anche i report degli altri peer reviewer - Bagnai pirreviuuuueeeeeer! - il che, in un certo senso, costituisce una specie di pirreviù della pirreviù, perché dai rapporti degli altri puoi capire se le tue preoccupazioni e le tue curiosità circa il paper erano o meno condivise da altre persone che l'editor ha ritenuto, come te, competenti a livello internazionale, ma delle quali non sai assolutamente un accidenti di nulla - oddio: di una di queste una cosa la so, ed è che pensa che l'uscita dall'euro sarebbe un disastro perché sarebbe un disastro: argomentazione molto scientifica che si evince dal suo report. Non posso dirvi di più perché la pirreviù dev'essere anonima: se non è anonima, che pirreviù è? Tuttavia, non sempre le riviste in economia rispettano la regola del "doppio cieco" (tu non sai chi ha scritto, e chi ha scritto non sa che tu lo hai valutato) - e infatti quelle che lo fanno lo dichiarano, il che significa che spesso, come referee, mi viene detto chi è l'autore del lavoro, e, in ogni caso, è facilissimo, in tempi di Internet, risalire ad esso: nella maggior parte dei casi basta mettere in Google una qualche frase del paper per reperirlo su qualche "research repository" di qualche Intranet di qualche università. Molti paper prima sono stati working paper, proprio per consentire alla comunità scientifica un primo scrutinio dei risultato, prima di sottoporre questi a una rivista che ne certifichi la definitiva validità - che è parola diversa da "verità". Quindi capire chi ha scritto cosa è piuttosto semplice, ed è anche la prima fonte di conflitto di interessi, data la natura intrinsecamente faziosa e mafiosa della mia professione - nel male e nel bene! L'idea che un paper venga "stoppato" - alla Bergomi, noto pirreviuer della nazionale italiana - semplicemente perché prodotto da un esponente di una scuola di pensiero o di una cordata accademica avversa alla propria, nonostante le analisi proposte siano perfettamente valide, e magari nonostante tu sia d'accordo, anzi, magari proprio perché sei d'accordo, hai scritto anche tu un lavoro simile che è in valutazione, e non vuoi che il lavoro del tuo concorrente esca prima del tuo!

Del resto, vi ho raccontato due mie esperienze di autore che "subiva" pirreviù altrui, proprio per spiegarvi la logica del metodo. Una riferita a un paper sulla Cina, inviato a una rivista in fascia A, e poi pubblicato in parte come capitolo di un libro edito da Routledge, e in parte come articolo su una rivista in fascia A migliore della prima cui mi ero rivolto. La risposta del referee fu che il mio articolo andava respinto perché prevedeva che la Cina non sarebbe cresciuta per sempre al 10%. In effetti l'articolo, nel 2007, prevedeva per la Cina del 2017 una crescita molto simile a quella che si sta manifestando - un rallentamento, in particolare - perché questo era implicito nei parametri strutturali dell'economia cinese valutati secondo un approccio assolutamente ortodosso - un modello di crescita à la Solow. La verità in quel caso era (come ho poi saputo, perché sei miliardi non è un numero infinito, e la comunità scientifica è un insieme molto più ristretto) che il referee, un cinese, semplicemente temeva che un modello fatto meglio del suo entrasse nel mercato, e quindi voleva tenermi fuori. Sarebbe stato l'editor a dover valutare la coerenza del rilievo del mio collega: ma gli editor preferiscono tenersi il prestigio della loro carica ed evitare le grane. Ovviamente questo implica che si lascino spesso sfuggire lavori che darebbero prestigio alla loro rivista semplicemente per il semplice fatto di riportare previsioni azzeccate. Mi avete mai visto preoccupato per il rallentamento dell'economia cinese negli ultimi anni? Non credo. Eppure quanti, da anni, vanno vaticinando di una crisi epocale che però... però... non arriva mai! Certo, alla fine qualcosa succederà, chi può negarlo! Ma intanto è successo quello che diceva il mio modello, tant'è che quando i conformisti di Project Syndicate hanno - finalmente - detto che era ora di smettere di preoccuparsi del rallentamento dell'economia cinese io ho commentato con un laconico "I never did"... e ho cominciato a preoccuparmi!

La seconda riferita al paper sull'impatto macroeconomico di una dissoluzione dell'Eurozona, che in una versione precedente, sottoposto a un'altra rivista di classe A, era stato rifiutato dal referee con questo argomento: "Sulle simulazioni non ho nulla da dire, mi sembrano sensate, ma l'autore dovrebbe anche riportare argomenti a favore dell'euro". Evidentemente il calendario del referee era fermo al 1990, anno in cui trattare dei pro e dei contro sistematicamente avrebbe avuto un senso - e infatti non lo si fece. Nel 2017, alcuni decenni dopo, la letteratura sui pro è striminizita e per lo più in conflitto di interessi - essendo quasi tutta finanziata direttamente o indirettamente dalle istituzioni la cui sopravvivenza è legata all'euro - mentre quella sui contro è piuttosto ampia e articolata. Insomma: secondo il referee avrei dovuto fare come Hegsted: ignorare una letteratura ampia e in crescita e concentrarmi su una letteratura minoritaria e un pochino claudicante. Se lo avessi fatto, il mio paper sarebbe stato Lascientifico, cioè conforme ai suoi pregiudizi.

Voi mi conoscete, e quindi sapete che io interpreto in modo diverso il mio ruolo di pirreviuer. Basta un dato: difficilmente un mio report è meno lungo di tre pagine, e in ogni caso contiene tutte le parti che deve contenere secondo scienza e coscienza: una mia sintesi del lavoro, perché l'autore possa valutare se io ho capito cosa lui vuole dire; un mio elenco di osservazioni principali, di cui l'autore deve tener conto se vuole pubblicare il lavoro - se ho da farne - accompagnate sempre da indicazioni costruttive, dall'indicazione di altri studi che potrebbe voler o dover tenere in considerazione, ecc.; un elenco di osservazioni secondarie, che spesso sono sviste o ingenuità espositive sulle quali intervenire per dare coerenza al lavoro; un elenco degli errori fattuali - refusi, errori grammaticali o sintattici, ecc. Non ho mai, e dico mai, scritto come referee i "no perché no" che ho letto come autore (sopra vi ho dato due esempi). Ma io ho un'etica, che non posso chiedere a tutti di avere.

Da cosa traggo quindi la mia fiducia nel metodo scientifico?

L'avrete capito: da me stesso. Ho fiducia nel metodo scientifico perché sono uno scienziato, so come lavoro, e so di non essere una persona eccezionale. Il fatto che nella mia carriera abbia incontrato più di un paio di coglioni nulla toglie al fatto che io, o i miei colleghi di dipartimento - coi quali spesso ci scambiamo idee sui referaggi che dobbiamo fare - lavoriamo bene perché abbiamo deciso di lavorare bene. Lo stesso suppongo accada in tanti altri dipartimenti, e infatti, al netto di questi due imbecilli - un cinese e un Leuropeo - dei quali vi parlo sopra, normalmente i miei lavori hanno risentito sempre positivamente delle osservazioni dei pirreviuer - incluso il più controverso, quello sulla dissoluzione dell'Eurozona.

Questo è quello che dovrei fare. Quello che farò è una cosa diversa: a ovest della mia attuale residenza ci sono delle scogliere di granito. Ci porterò la mia famiglia. Ma prima condivido con voi qualche riflessione...)

Il post precedente suscita una quantità di riflessioni pressoché sterminata, molte decisamente fuori portata per chi non fa il mestiere della scienza, e alcune anche per chi lo fa, poiché riconducono ad aporie che questo mestiere ancora non ha risolto, né credo potrà mai risolvere, data la sua natura intrinsecamente politica (l'uomo è un animale politico, per il semplice fatto che vive per lo più in polis - un po' come api e formiche, che però, come sapete, hanno da tempo fatto il loro referendum, scegliendo la monarchia assoluta come regime più confacente ai loro bisogni: e un giorno governeranno il globo quando noi ci saremo suicidati).

Credo però che il suo messaggio principale sia assolutamente accessibile a tutti, e tutti dovrebbero rifletterci, anche alla luce dell'elzeviro - torna l'Elsevier! - di apertura. Vi ricordate di quando Maurice Chevalier rammentava che la vecchiaia non è poi così male, se si considera l'alternativa? Ecco: il senso del post precedente era proprio questo: anche la Scienza, e perfino Lascienza, non sono poi così male, se si considera l'alternativa.

Ai più torpidi, per nascita, perché in vacanza, perché oppressi dalla digestione, fornisco la chiave di lettura.

Quello che rende la vecchiaia preferibile alla sua alternativa è che questa, cioè la morte, per definizione non consente di valutare alternative. Da morto non hai scelta. Da vecchio sì (inclusa quella di non volere scelta). Ora, come credevo dovreste aver capito, nonostante gli inevitabili conflitti di interessi, nonostante le ovvie fallacie del processo di peer review, nonostante la natura umana e quindi fallibile dei suoi praticanti - solo Marione nostro si crede Dio e parla di irreversibilità - la Scienza consente sempre di valutare alternative. Magari non subito. Ma lo fa.

Tanto per essere chiari, Virchow, di cui vi parlavo nel post precedente, quello che affermava e rivendicava la natura "politica" (cioè sociale) della scienza medica, oltre a questa cosa, giusta, ne ha dette anche tante sbagliate: lui, per esempio, nonostante sia stato un pioniere della patologia cellulare, pare - così dice la fonte delle fonti - che avesse idee oggi superate sul ruolo dei batteri, e nonostante abbia fatto molto per promuovere l'igiene - anche come amministratore pubblico - pare che in alcuni casi sottovalutasse l'importanza di lavarsi le mani: un gesto semplice, che se pure in un caso documentato ha portato a una morte ingiusta (ma va anche detto che quello lì se l'era cercata), ha senz'altro contribuito in modo drastico all'abbattimento dei tassi di mortalità e di mortalità infantile - Pasteur potrebbe spiegarci perché, e qualcuno di voi avrà le statistiche. Si può dare un contributo importante e dire delle cazzate, le due cose sono perfettamente compatibili: se dell'uomo la storia tratterra il primo o le seconde dipende molto dall'uomo, ma il punto è che la Scienza procede (o retrocede) consentendo di valutare.

Insomma: gli stessi motivi che ci devono far guardare con sospetto chi nega la natura sociale delle scienze, devono però farci guardare con fiducia alle scienze.

Da qui in giù ci sarebbero mille considerazioni da sviluppare, riguardanti in particolare le contraddizioni e le asimmetrie con le quali i media trattano due dibattiti apparentemente scollegati, ma dei quali vi ho mostrato i sorprendenti (?) isomorfismi: quello economico e quello medico. Non ho tempo di farlo. Voi ora siete tutti presi da un tema che non mi interessa particolarmente, e allora vi fornisco due elementi che servono a problematizzarlo, e a darvi ulteriori intuizioni sul mestiere della scienza.

Il primo è che i conflitti di interesse sono ovunque. Esempio: nel dibattito che vi interessa, e che non interessa me se non in quanto reagente che sta mettendo in evidenza il peggio di chi lo ha dentro, qualcuno poco fa ha citato questo articolo. L'articolo (che ha avuto 70 citazioni su Scholar, di cui pochissime da riviste peer reviewed) stabilisce una correlazione fortissima fra mortalità infantile e numero di vaccinazioni, con un p-value inferiore a 0.0001 (un decimillesimo). Cos'è il p-value? Senza entrare troppo nel tecnico, il p-value è la probabilità che i test effettuati rifiutino una ipotesi vera.

Accipicchia... nel caso in questione, quindi, la probabilità che non esista un legame fra dosi di vaccini e mortalità infantile risulterebbe inferiore a un decimillesimo.

Bene: il dibattito muore qui?

Non credo.

Il dibattito morirebbe qui... se non ci fosse una prospettiva alternativa! Ve ne fornisco due.

Intanto, i conflitti di interesse non ce li hanno solo i Lascienziati cattivi (quelli del "20 con la bocca e 50 con la pirreviù"). Infatti gli autori dell'articolo sono stati costretti dalla rivista a un lunga disclosure  dei loro conflitti di interessi, che potete leggere qui. Non erano "ricercatori indipendenti" (come una Banca centrale, e come si erano dichiarati nella prima stesura dell'articolo), ma rivestivano cariche di responsabilità in ONG (ahi!) con una precisa mission, e il loro studio era stato finanziato dai genitori di un bambino deceduto in seguito a una vaccinazione (una cosa che succede: anche la medicina che sto prendendo potrebbe uccidermi, o almeno mandarmi in coma, e lo so: infatti la prendo sotto il controllo di un medico). Adesso qualcuno sclererà (ma so anche di avere le spalle abbastanza larghe): eppure, oggettivamente, questo lascia supporre un problema del tutto isomorfo a quello del nostro amico Mark, che riceveva dal nostro amico John la lista dei paper da distruggere, perché, come dice la nostra amica Marion (tutto nel post precedente) in tutta evidenza e secondo i documenti Mark sapeva cosa John si aspettava, e lavorava per darglielo.

Come evitare questi sospetti?

E, più in generale, basta un sospetto, o la certezza, di un conflitto di interessi, a invalidare uno studio in un senso o nell'altro?

Possiamo spingere così lontano la consapevolezza (che deve essere comunque piena e assoluta) della natura politica delle scienze?

Qui viene il bello (e il secondo elemento fattuale che vi offro per problematizzare le vostre certezze di dilettanti del mestiere della scienza, indipendentemente dal loro segno)!

In teoria, i Lascienziati se la cantano e se la suonano con l'idea che loro fanno Gliesperimenti, e che quindi le loro conclusioni sono verificabili perché replicabili. Anzi: i Lascienziati se la prendono tanto con noi, gli scienziati "sociali", proprio sulla base del fatto che i nostri studi, quelli degli economisti, intrinsecamente sono non sperimentali (non è possibile tornare con la macchina del tempo al 1980 per creare un campione di osservazioni in cui il Tesoro non divorzi dalla vigile Banca d'Italia).

Quindi, to set the record straight, basterebbe che uno studioso prendesse lo studio dei ricercatori indipendenti de cujus e lo replicasse per vedere se a lui i conti tornano, magari aggiungendo altre variabili, per vedere se la correlazione non dipenda in effetti da queste ultime. Questa cosa, voi penserete, verrà fatta di routine: magari gli stessi referee, penserete voi, andranno a replicare i risultati degli scienziati, prima di permettere la loro pubblicazione.

Ecco, invece, sorprendentemente (credo per voi, certo non per me che il mestiere della scienza lo faccio) è cosa di dominio pubblico fra gli addetti ai lavori (cioè di dominio privato) che la replicazione sperimentale dei risultati non solo non viene fatta sistematicamente, ma quando viene tentata fallisce nel 70% dei casi, compreso un simpatico 50% di casi di autori che non sono riusciti a replicare i loro stessi esperimenti (ad esempio, non hanno ottenuto gli stessi risultati).

Una calunnia? Una teoria del complotto? No: un articolo di Nature (probabilmente la più importante rivista scientifica) che vi esorto a leggere per intero e con attenzione. Se lo farete, potrete poi rileggere il post precedente tenendo in mente queste due paroline: "selective reporting". Capirete meglio cosa c'è che non andava nello studio di Mark e Fredrick e soprattutto capirete che la Scienza, che non è Lascienza, si sta occupando del problema.

Devo dirvi che a me è capitato, da referee, di andare a vedere se certi coefficienti proposti dall'autore erano veramente così come lui li raccontava, e se non riuscivo a riscontrarlo glielo dicevo. Ma questo, ovviamente, presupponeva che i dati mi fossero messi a disposizione, o la fonte fosse citata con esattezza, consentendo a me di scaricarli e riprodurre le stime. Questo oggi non viene sistematicamente fatto. Solo due riviste, finora, mi hanno chiesto esplicitamente di rendere pubblici i dati sui quali basavo i miei studi. Una ha accettato un mio articolo, del quale vi parlerò rispondendo a Cochrane, e l'altra sta valutando la mia revisione (se accetterà l'articolo, poi ne parleremo). Se non ricordo male, il primo articolo all'estero l'ho pubblicato nel 1999. Quasi vent'anni dopo constato che la comunità scientifica si sta finalmente ponendo in modo concreto il problema del consentire a se stessa - e non solo al peer reviewer, o nemmeno a questi! - di verificare, replicandoli, i risultati da essa stessa prodotti!

Come tutte le notizie, questa è buona (per la parte: finalmente) e cattiva (per la parte: finora?).

Ogni volta che vedo un p-value miracoloso mi prudono le mani dalla voglia di caricare i dati in qualche software e andare a vedere se le cose stanno proprio così. Ma nella maggior parte dei casi è impossibile. Lo sarebbe se si prendesse una decisione molto semplice, ma che nessuno vuole prendere, se non a chiacchiere: pubblicare solo studi replicati dalla rivista e che mettano in condizione almeno gli altri studiosi del settore di replicare i risultati - e la prima condizione è fornire sistematicamente dati e codici.

Questo, è bene lo sappiate, quando parlate di Lascienza, non viene ancora fatto in modo sistematico.

Eppure, nonostante questi ovvi limiti del mestiere della scienza, la vita media si è allungata, ed è anche per questo che, come ci ricorda il poeta in un album coevo der Palla, l'uomo moderno passa più tempo nervosetto...

Ecco, fatemi questo cazzo di favore: datevi tutti una calmata, se ne avete bisogno trangugiate la medicina per gli approcci e che sia di giovamento a voi e soprattutto al vostro partner (poi dice che il progresso scientifico non esiste...), e dopo tornate qui, se volete imparare cosa sia il mestiere della scienza. Qualche studio, nel mio campo, io l'ho replicato, e ve ne parlerò al #goofy6. Ma perché possiate anche voi, come me, rotolarvi per terra dalle risate (soprattutto pensando alla spocchia di certi editor), occorrerà che acquisiate qualche rudimento del mestiere...

L'estate è ancora lunga... e per voi tutta in salita! Io vado dal granito. Se torno, leggerò con grande divertimento i vostri simpatici scleri dell'una e dell'altra parte.