#pirreviù3: Storie di ordinaria pirreviù

(...breve ma istruttivo viaggio nel beksteigge della ricerka scientifika...)



Vedo che molti non sanno come funziona la revisione dei lavori sottoposti a pubblicazione su una rivista scientifica. Può essere interessante studiarne la teoria e la pratica. Il meccanismo è molto semplice: quando si pensa di aver trovato qualcosa di interessante si scrive un articolo, che magari prima si fa circolare come working paper (la nostra collana serve a questo) e si porta a qualche convegno per avere un primo feedback immediato, per essere ragionevolmente certi che non si tratti di una puttanata.

Poi si cerca una rivista "adatta", dove la valutazione di cosa sia "adatto" dipende da una quantità di fattori.

Per chi deve ancora far carriera (come me) è importante che la rivista sia una di quelle "migliori" (nel senso di: valutate come più prestigiose dagli organismi dai quali dipende la nostra carriera - in Italia, come vi ho spiegato, i "paperoni" dell'Anvur).

Naturalmente, ci sono dei vincoli. Alcune riviste "buone" (esempio: il Cambridge Journal of Economics) impiegano dei tempi biblici a risponderti (vedi sotto), quindi se hai scadenze vicine forse preferirai una rivista meno "buona", ma che ti dà ragionevoli garanzie di avere il lavoro pubblicato rapidamente. Esiste anche qui un trade-off  fra qualità e quantità.

A parità di "bontà" ci sono valutazioni riferite alla rivista: quanto è probabile che trovi il tema interessante? Hanno già trattato l'argomento? Come sono orientati ideologicamente? Chi sono gli editor? C'è un amico (o un nemico) in redazione?

Tutte cose che immaginate.

Una volta scelta la rivista, si va sul loro sito e si vede come vogliono che sia presentato il lavoro (che dimensioni, che impaginazione, come e dove mettere le figure, come strutturare le tabelle, come organizzare la bibliografia, ecc.). Ogni rivista ha una pagina di Instructions for authors, questa è quella di Applied Economics.

Dopo di che, si sottopone il lavoro al giudizio della rivista. Normalmente, oggi, tutti hanno una piattaforma di gestione dei manoscritti on-line: ti iscrivi (se non sei già iscritto), passi attraverso una serie di moduli che ti chiedono chi sei, dove lavori, come si chiama il tuo articolo, ti fanno giurare che non l'hai copiato dal compagno di banco, ecc., e poi ti permettono di caricarlo nel sistema.

A quel punto l'editor riceve una lettera di avviso (in automatico), e tu, altrettanto in automatico, una lettera di conferma, e la palla passa all'editor.

Questi deve vedere cosa gli hai mandato: se è minimamente decente e in linea con lo scopo della rivista (es.: un articolo sulla storia della partita doppia non è in linea con Tourism Management, per dire), deve mettersi a cercare due referees. Questi chi sono? Sono i famosi pirreviuer, ovvero: persone che hanno pubblicato, preferibilmente bene, nel campo specifico oggetto della tua ricerca. Loro non devono sapere chi sei (altrimenti...) e tu non devi sapere chi sono (altrimenti...).

Nota bene: l'unica garanzia del fatto che i pirreviuer siano in grado di rilasciare una patente di scientificità è data dal fatto che abbiano pubblicato. Se poi hanno pubblicato delle stronzate (magari "bene", cioè su riviste "alte", tipo quelle dove i Sarfatti boys ci spiegavano che i moltiplicatori sono negativi), bè, questo non conta. In altre parole, il sistema è totalmente autoreferenziale e considero una prova ontologica dell'esistenza di Dio (e del suo infinito amore) il fatto che, adottandolo agli albori dell'età moderna, l'umanità non sia rapidamente retrocessa a vivere nelle caverne. Ma non è detto che non ci riuscirà...

Io ho fatto il guest editor un paio di volte. Ad esempio, China Economic Review (per dirne una) mi ha chiesto di curare un numero speciale (in seguito a una vicenda che vi racconto qua sotto). Non è semplice, vi assicuro, trovare un buon referee, se vuoi fare bene il lavoro di editor. Devi cercare, spesso senza essere tu stesso esattamente consapevole di tutti i contenuti della ricerca che vuoi far valutare (e non c'è nulla di strano: la scienza va avanti, e se non sei tu che ce l'hai mandata magari non sai dov'è finita!), due persone che secondo te possano capire quello che c'è scritto, e quindi dare consigli intelligenti all'autore, o fare una stroncatura motivata.

Una volta che l'editor ha scelto il referee, carica il suo nome sul sistema, clicca un pulsante, e al referee potenziale arriva una email del tipo:

Se sei il referee (come ero io in questo caso) pensi: "Che palle!", poi vai a vedere di che si tratta, e poi generalmente accetti. A quel punto ti viene specificato un termine (intorno a tre mesi) per studiarti il lavoro, e tu cominci a farlo. Ovviamente nessuno ti ci obbliga. Potresti anche declinare (vedi l'apposito link), o proprio non rispondere (c'è chi fa anche così).

Perché lo fai?

Perché sei parte di una comunità, la comunità scientifica, fatta di persone che non conosci ma con le quali verosimilmente hai qualcosa in comune.

Attenzione: può capitare che l'editor si sbagli, e che ti invii un articolo su una cosa della quale non sai assolutamente nulla. In quel caso è buona norma declinare, possibilmente dando delle alternative. Anche questa correttezza non sei obbligato ad osservarla: vedi sopra.

Nota che spesso sei accondiscendente con l'editor anche perché pensi di mandargli un articolo, e vuoi in qualche modo ingraziartelo. L'editor sulla scelta dei referee si gioca la credibilità della rivista. Se sceglie un coglione come quello del quale vi parlo qua sotto, la credibilità della rivista crolla, con essa il ranking (il posto in classifica), e le submissions (il numero di articoli sottoposti a pubblicazione), per cui, al limite, la rivista chiude (non capita, ma potrebbe). Nel momento in cui tu gli rimandi la palla rifiutando, è indubbio che lo metti in imbarazzo, ma fai altrettanto se gli fornisci un rapporto di revisione del tutto campato in aria.

Per questo motivo oggi molte riviste chiedono agli autori di indicare tre potenziali referees. L'autore cioè sceglie chi dovrà giudicarlo. Nota bene: siccome poi l'editor fa come gli pare, e ha anche interesse a evitare comportamenti troppo paraculi, indicazioni "strategiche" (tipo: chiedo a un mio collega di dipartimento di farmi da referee) verrebbero sgamate subito, quindi l'autore sta attento a non fare il furbino. D'altra parte, l'autore sa meglio dell'editor chi sia esperto del settore nel quale si colloca la sua ricerca, e quindi questo procedimento è meno bislacco di quanto sembri.

Ci sono anche motivi "strategici" per accettare un referaggio. Ad esempio: il paper che devi valutare ti cita, e tu hai bisogno di citazioni. Potrebbe essere proprio quello il motivo per il quale l'editor lo ha mandato a te: perché ha visto dal paper che tu ti occupi di quella cosa. A questo punto, è chiaro che sei in conflitto di interessi: se parli bene del paper aumenti il tuo h-index, se ne parli male...

Ci sono anche motivazioni "strategiche" nell'assegnarlo, un referaggio. Ad esempio, ultimamente ho ricevuto una richiesta di referaggio da una rivista presso la quale avevo (ed ho) un paper "pending" (ha avuto giudizi favorevoli ma aspetto che valutino le mie revisioni). Evidentemente l'editor ha pensato: "Bagnai lo tengo per le palle perché sa che ho un suo lavoro sulla scrivania, quindi farà un rapporto approfondito e rapido". E così è stato, e fra l'altro non era nemmeno la prima volta che mi succedeva! Diciamo che è una larvatissima forma di intimidazione costruttiva. Fa parte del gioco.

Insomma, passa il tempo, il referee, che non sa chi sei, ti valuta, poi carica sulla piattaforma il suo giudizio, l'editor lo controlla e te lo manda. Normalmente il referee oltre alle valutazioni di dettaglio (che possono essere anche la correzione di errori ortografici, per dire) deve comunque fornirti un giudizio sintetico, che (sempre normalmente) si articola su questa scala:

Accept
Minor revision
Major revision
Reject

(con sfumature). Le due sfumature centrali rientrano nella casistica del Revise and resubmit: l'editor quindi ti scriverà dicendo che purtroppissimo non può accettare il paper com'è, ma che se tu lo modifichi come hanno chiesto i referees lui poi forse te lo pubblica.

A quel punto vai a vedere cosa hanno detto, e se ti dice bene, e sono colleghi sensati, impari, ti diverti, e il lavoro migliora. Se incontri un coglione, è molto dura: il problema diventa non tanto di capire i risvolti scientifici, quanto il caso psichiatrico. La domanda è: "Ma questo che cazzo vuole da me?" E la risposta spesso va trovata a casaccio.

La cosa può andare avanti per diversi round. Ad esempio, con Cambridge Journal of Economics ne ho avuti ben tre (tutti lunghissimi, ma molto interessanti: non so chi fossero i tizi, ma erano veramente molto molto cazzuti). Lato referee, alcune riviste non ti fanno nemmeno sapere cosa hanno deciso, altre te lo dicono, e ti chiedono di rivedere le revisioni, ecc.

Alla fine, hai una valutazione definitiva di Accept o Reject. Se è Accept, meglio così: ti chiama l'ufficio editoriale per dettagli (trasferire il copyright, ottenere i file grafici ad alta risoluzione) e si passa avanti. Se è Reject devi elaborare il lutto e passare a una rivista "inferiore" o "superiore".

Eh sì, perché se il motivo del rifiuto è che il referee non ha capito un cazzo di niente di quello che hai fatto, hai più probabilità di far accettare il tuo articolo da una rivista con un impact più alto, che, si presume, sceglie i referee con più accuratezza.

Bello, no? In ogni caso, it's my life (come autore, referee e ogni tanto editor).

Come avrete capito, ne possono succedere di ogni. Guardate ad esempio cosa mi è successo quando ho cercato di pubblicare su una rivista media di settore (modellistica) il modello dell'economia cinese che avevo costruito nel 2007 con Christian, e che avevamo pubblicato in versione preliminare qui, dopo averlo portato a un paio di conferenze. Faccio la mia submission, a settembre 2007, e aspetto fiducioso. Dopo un po' di tempo, a febbraio 2008, mi scrive l'editor. Il referee 1 faceva osservazioni di carattere generale sulla strategia espositiva, tutta roba gestibile. Guardatevi alcune perle del referee 2:

Il referee diversamente anglofono era evidentemente un cinese al quale dava fastidio che dal resto del mondo gli si venisse a pisciare nel cortile di casa. Per carità, tutto comprensibile. La Cina non ha fatto gli "Stati Uniti di Cina" per vincere il nazzzzzzzzzzzionalismo, quindi un minimo di protezionismo culturale ce lo potevamo anche aspettare! Ma non esisteva (e tuttora non esiste) un modello cinese stimato con la cointegrazione con cambiamento di struttura endogeno, come era il nostro: the similar models  (!) non c'era e tuttora non c'è, per cui l'osservazione del referee diversamente fottuto Charlie era fattualmente errata (e lui lo sapeva).

Per inciso... i più smaliziati di voi sanno che invece gli Stati Uniti di Cina sono stati fatti, con la materia prima con la quale si fanno gli Stati Uniti: il sangue. Ci ha pensato lui. È perché sono stati fatti gli Stati Uniti di Cina che i cinesi sono nazzzzzzzzzzzzzzionalisti. Ma non entriamo in questo, e passiamo alla vera perla. Il referee si mette a discutere una serie di implicazioni del nostro paper, dalle quali risultava che il tasso di crescita di lungo periodo era attorno al 6%:

Ora, chi è più esperto capirà perché questa obiezione è una puttanata. Il tasso di crescita di lungo periodo, considerando che avevamo scelto una tecnologia con progresso tecnico esogeno, dipende da crescita della popolazione e tasso di crescita del progresso tecnico, ed esprime il potenziale di crescita secolare di un paese. Chiaramente, se il paese è impegnato in un processo di catch-up, il suo tasso di crescita effettivo sarà superiore a quello potenziale, al quale convergerà (dall'alto) quando avrà raggiunto lo stato stazionario (una spiegazione un po' rapida è qui, ma anche in ogni manuale di macro).

A chi è meno esperto, basterà osservare che secondo il referee la Cina sarebbe dovuta crescere per sempre al tasso del 10%, visto che era cresciuta del 10% dal 1978 al 2006! Quello che lui chiama il balanced growth rate, cioè il tasso di crescita di lungo periodo ipotetico (quello di crescita bilanciata, che si ottiene quando il rapporto fra stock di capitale e flusso di prodotto si stabilizza), in effetti è il tasso di crescita medio effettivo osservato durante un periodo di fortissima rincorsa tecnologica dell'economia cinese (dal 1978 al 2006: difficile pensare che nel 1978 l'economia cinese fosse balanced, non vi pare?).

Insomma, l'amico, esattamente come quest'altro amico, non aveva capito la teoria della crescita neoclassica. Cose che capitano.

Ora: bon ton vuole che anche se il referee è un coglione tu non lo faccia notare.

Io però del bon ton me ne fotto. Quindi, dopo averci pensato un po' su, scrissi all'editor. È una cosa che normalmente non si deve fare, ma che in questo caso mi sembrava doverosa perché c'era un evidente caso di incompetenza e soprattutto di mancanza di etica professionale nel referee, che era semplicemente un economista applicato cinese il quale non voleva che nel suo mercato entrassero colleghi più bravi di lui. Il conflitto di interessi era palese ed eticamente inaccettabile (per me).

La lettera ovviamente ce l'ho ancora ed è questa:

Tradotto, per i  non anglofoni: il tuo referee è un coglione e tu sei uno stronzo.

Ovviamente l'editor non rispose, perché gli editor ne hanno veramente di ogni da seguire.

Tuttavia, subito dopo, mi arrivò una richiesta di referaggio. In questo caso era una specie di segno: "so che non sei un pirla, il lavoro non era male, ma purtroppo io da editor non posso fare altro, però voglio mantenere un contatto".

Io non sono molto adatto a tenere in vita rapporti morti. La mia email non la trovo, ma la ricordo perfettamente:


Sir,

in my recent experience, the referees of the Journal of wjkjkitrsdfjh ignore the most elementary theory of economic growth. You can ask me to accept their verdict, but you cannot ask me to join their club.

Yours,


Seguirono altre tre richieste di refraggio cui non risposi nemmeno. Poi alla fine, poro vecchio, in fondo mi stava pure simpatico, e alla quarta mi rimisi a fare il mio lavoro.

Ma... entrando nel merito?

Bè, se entriamo nel merito, il mio modello, stimato con i dati fino al 2006, prevedeva questa evoluzione del tasso di crescita cinese:

Detto così, mi rendo conto, si capisce poco l'alto valore della #pirreviù, quando è fatta da un coglione. Diventa più chiaro se vi faccio vedere come il sullodato coglione pensava che si sarebbe evoluto il tasso di crescita dell'economia cinese:

e come invece s è evoluto in pratica (nei dati del Fmi):

Anche il modello sbagliava, e ci credo: ne son successe di ogni, e nel 2007 non era facile prevederle, per cui la crescita effettiva, fino al 2014, è stata in media un punto meno di quella prevista del modello. Ma il coglione, però, aveva previsto ben due punti di crescita in più rispetto alla crescita effettiva... Quindi, come dire: modello batte coglione due a uno! (punti percentuali di errore di previsione medio assoluto).

Giusto per dire che se dico a un editor che il suo referee è un bischero, poi i fatti, o meglio, la SStoria, intervengono a confermarlo...

E il modello?

Bè, era buono, non l'ho certo buttato!

Ci ho fatto questo lavoro, che mi ha dato tante soddisfazioni. Ovviamente, su una rivista più "alta" (come impact ecc.) di quella il cui referee era così scarso. Non è stato citatissimo, ma diceva, anche lui, delle cose giuste, le stesse cose che, qualche anno dopo, cercavo di far capire a un dilettante dell'economia internazionale.

E anche qui, per l'ennesima volta, i fatti mi hanno dato ragione: la "minaccia" cinese si è sgonfiata, i suoi sbilanci esteri, che non erano causa di quelli americani, sono rientrati, e eventualmente i problemi della Cina (e per noi) sono altri.

D'altra parte, con buona pace degli economisti da bar dello Sport, non è poi così vero che i modelli "sbagliano". Chi veste paraocchi ideologici tende ad andare a sbattere, ma se lasci parlare i dati è molto, ma molto difficile che tu vada seriamente fuori strada.

E anche su questo ne avrei di esempi da farvi, ma per oggi direi che basta così.