#pirreviù6: Scholar, Scopus, IDEAS, and all that...

In questo blog ci siamo occupati, illo tempore, di Gallino, ma mai di Galli, fino a questa mattina, quando un nostro amico ha lasciato questo commento:

ALBERTO49 ha lasciato un nuovo commento sul tuo post "Emiliano e l'aritmetica del debito pubblico":

Tra i tanti Galli non trovo Giampaolo. E' magari un po' arruginito, invece di fare chichirichì fa pio pio!

Postato da ALBERTO49 in Goofynomics alle 13 novembre 2017 10:58

Essendo Alberto49 un protégé di Rockapasso, mi vedo costretto a intervenire. Parlare di Gallino ci dette l'occasione per mettere in chiaro cosa intendessimo per operazione di verità politica. Parlare di Galli ci permetterà di chiarire cosa si intenda per produzione scientifica, e in particolare come si misuri quella peer reviewed. Visto che per anni siamo stati accusati dalle squadracce liberiste di essere "ai margini della comunità scientifica", di "non avere articoli peer reviewed", l'operazione non è priva di interesse.

Il riferimento fatto da Alberto49 alla base dati IDEAS è un pochino impreciso. In effetti, su IDEAS Galli compare: basta cercarlo. O meglio: compaiono alcune sue pubblicazioni. Lui no, perché su IDEAS, come su Google Scholar, il profilo dell'autore compare solo se l'autore decide di crearlo, decisione presa normalmente da ricercatori attivi, che hanno interesse a distribuire le loro ricerche nella comunità scientifica. Restano esclusi alcuni casi estremi. Ad esempio, se cercate Krugman (non le opere: l'uomo) su Scholar non lo trovate, così come non ci trovate Galli (se cercate me sono qui). Non sto dicendo che Galli sia un Krugman (o viceversa): sto dicendo che, come ogni distribuzione, anche quella della produzione scientifica ha due code, e non è difficile intuire in quali code cadano i due studiosi che cito. Galli, essendo del PD, cade ovviamente nella coda sinistra della distribuzione (qualcuno la spieghi a chi non l'ha capita)!

Google Scholar, essendo gestito da Google, dispone di un database bibliografico sterminato, ma di qualità piuttosto variegata. Comunque, il fatto di poter attribuire a ogni autore registrato le sue pubblicazioni, e di poter verificare se queste sono state citate da altri autori (registrati o meno), consente a Scholar di attribuire un "punteggio" a chi si registra. Io, ad esempio, in questo momento ho 468 citazioni su Scholar (di cui 69 per Il tramonto dell'euro),e un h-index di 11, il che significa che almeno 11 delle mie 77 pubblicazioni sono state pubblicate almeno 11 volte ciascuna (la mia undicesima pubblicazione in ordine di citazioni decrescenti è un lavoro sulla sostenibilità del debito nei PECO, apparso su Economic Bulletin, che ha avuto, appunto, 11 citazioni).

Notate che il famigerato GEV 13 (gruppo di esperti della valutazione dell'area 13, quella di economia), si serve di Google Scholar per diversi scopi, fr cui quello attribuire "punteggi" alle riviste (l'idea è che le riviste dove compaiono gli articoli più citati siano migliori, il che, da quando conoscete gli economisti, credo vi appaia facilmente come un'idea piuttosto bislacca: tuttavia, altri criteri ovvi a disposizione non ce ne sono). Questa scelta è stata criticata fin dall'inizio e i motivi sono facili da comprendere (qui una spiegazione più tecnica). Sottolineo che li condivido, anche se Scholar mi "premia": su Scholar il mio lavoro più citato è un libro non pirreviùd (peer reviewed), cioè il Tramonto dell'euro, e di pubblicazioni ne ho ben 77, dato che Google carica su tutto, comprese le mie dispense di vent'anni or sono per il corso di econometria (io nemmeno sapevo più che fossero in giro, ma Google le ha individuate in chissà quale server), o gli articoli su MicroMega. Scholar quindi è un indicatore abbastanza grezzo della qualità scientifica di un autore. Diciamo che non esserci, se non sei Krugman, non è un buon segno, ma esserci non è una garanzia.

Con IDEAS il caso è diverso, e questo perché IDEAS associa agli autori le pubblicazioni fornite da collane riconosciute dal database (e quindi: o riviste scientifiche, o collane di working papers registrati presso il servizio, il che implica un minimo controllo sulla scientificità della pubblicazione da parte dei gestori). Ovviamente ci sono anche qui dei problemi. Certe riviste (ad esempio il Cambridge Journal of Economics) non sono assidue nel trasmettere i dati a IDEAS. Ma, d'altra parte, Scholar fino a poco fa non prendeva in considerazione certe riviste importanti (quelle di Elsevier, vedi infra). Il punto però è che su IDEAS magari non troverete tutto, però quello che troverete non sarà annacquato dagli articoli di MicroMega o dalle dispense, perché MicroMega non è considerata rivista scientifica e le dispense non sono un lavoro di ricerca e non sono pubblicate. Tuttavia, ancora una volta, l'iscrizione a questo database è volontaria. Ci finisci solo se decidi di finirci, e non hai incentivo a finirci se non hai niente da dire (caso di scuola: economista del PD), o se tutti sanno quello che hai detto (caso di scuola: premio Nobel).

Qui finiscono le possibilità a disposizione dei comuni mortali, e si entra in quelle riservate agli addetti ai lavori, la più importante delle quali è Scopus. Scopus e Scholar hanno in comune la natura "privatistica". Scopus è gestita da Elsevier (forse la più grande casa editrice scientifica), mentre Scholar è gestito da Google (IDEAS invece è gestito da una rete di volontari). Per il suo funzionamento, Scopus (a differenza di Scholar) dà qualche garanzia di scientificità in più, e infatti, come forse saprete, per accedere alle abilitazioni scientifiche nazionali bisogna avere un certo numero di articoli elencati da Scopus. Per la precisione, questo riguarda chi concorre nei cosiddetti settori bibliometrici. Economia non lo è, ma avere pubblicazioni su Scopus è comunque rilevante per i più svariati motivi, che vanno dalla valutazione della qualità del dipartimento, alla distribuzione dei fondi di ricerca.

Ora, a differenza di IDEAS e di Scholar, su Scopus ci si finisce in automatico purché si sia fatto un qualche lavoro che il gestore considera scientificamente rilevante (quindi, tutti quelli della casa editrice Elsevier, ma non solo). Questo significa che mentre se non sei su Scholar, può anche essere che tu sia Krugman, su Scopus, se hai fatto una pubblicazione scientifica, ci sei per forza, e quindi chiunque può vedere cosa hai fatto e quanto gli altri lo abbiano trovato interessante. Di converso, se non ci sei, significa che scientificamente non esisti (nel caso di Scholar e IDEAS non si può giungere automaticamente a una simile conclusione).

Questo per la parte teorica.

Come esercitazione, vi lascio interpretare due schermate fresche di giornata:

Ora: queste evidenze spiegano perché certe persone parlino di svalutazioni catastrofiche del 30%, o di coefficienti di pass through uguali a uno, ecc. ecc., e altre no. Non ci spiegano però perché le prime vengano anche ascoltate quando dicono cose del genere (e, aggiungo: ascoltate da colleghi...), mentre le altre no. Non saprei aiutarvi a capirlo, e non mi interessa: io mi occupo di scienza, che è una cosa che si fa coi dati, e i dati sono qui. I sogni, le profezie di sventura, il wishful thinking e gli (un)educated guess li lasciamo a chi non ha dati da portare nel dibattito. Il loro nome è Legione (un altro lo conosciamo), ma noi abbiamo un alleato: la scienza, che non paga ogni sabato.

Sareste sorpresi, se foste dei professionisti, di vedere quanto poco consistenti siano certe persone che salgono in cattedra per fare lezioncine, e quanto la vostra percezione istintiva, basata sul buon senso e su una connaturata onestà intellettuale (quella che trae alimento dalla volontà di risolvere un problema vero e pressante), sia in effetti allineata con certi astratti e astrusi indicatori cui la comunità scientifica (quella vera) si rivolge quando deve capire con chi ha a che fare. In altre parole: se qualcuno, poniamo, vi dice che se votate male l'anno dopo ci sarà una recessione del 4%, o che se non si fa la riforma tale la Luna cadrà nel Pacifico, di una cosa potete essere certi: che quel qualcuno, nella stragrande maggioranza dei casi, scientificamente non esiste. Di converso, uno può anche essere una persona di buon senso, avere una sua genuina e istintiva comprensione dei fenomeni economici, senza aver mai buttato giù una riga. Può darsi, e questo non sarò certo io a negarlo. In questo caso, il de cujus sarebbe ingiustamente penalizzato da indicatori quali il numero di citazioni, o l'h-index. Per questo motivo io, tendenzialmente, sono restio ad utilizzarli: preferisco analizzare gli argomenti.

Ma, vedete, quello che vorrei farvi notare è che chi nel corso del tempo è venuto ad aggredirmi sulla base di una mia pretesa inferiorità scientifica valutata con criteri formali spesso era messo peggio di me secondo gli stessi criteri che brandiva contro di me! Si sono visti blogger stralunati, che in vita loro non avevano mai scritto neanche una cartolina alla fidanzata (per mancanza di fidanzata, essendo in nove casi su dieci dei pustolosi nerd reduci da studi ingiengngngngieristici...), rischiare una querela o comunque una causa per danni affermando che io non avessi lavori peer reviewed! Si sono visti colleghi con h-index, citazioni, e pubblicazioni in fascia A inferiori alle mie, senza una pubblicazione in economia monetaria internazionale, venire sulla pubblica piazza a sindacare sulla qualità del mio lavoro, svolto in ambiti dei quali loro nulla sapevano, con un gesto non solo di pessimo gusto, ma anche autolesionistico (perché poi gli indicatori sono lì: le basi dati ci sono, e le conosciamo tutti)...

Di converso, chi vale più di me tende ad avere rapporti civili con me. Mi riferisco a Zingales, che mi cita in uno dei suoi ultimi lavori (il che mi permette di farmi una ragione dei giudizi negativi espressi dal Raparo), o a Perotti, che sarà con noi a Pescara.

Ed è questo è il lato amaramente divertente della vicenda. Divertente, ovviamente, per gli addetti ai lavori. Gli altri posso immaginare che siano rimasti impressionati, a leggere certi giudizi sprezzanti sul mio conto. Ma di norma, se poi mi hanno visto, e hanno potuto confrontarmi con chi mi attaccava, Lombroso ha fatto il suo lavoro.

Amen.


(...nota: su Scopus il mio h-index è 6, e ho 21 pubblicazioni - 7 volte quelle di Galli [ricorda qualcosa?], che hanno ricevuto in totale 85 citazioni. Tenete a mente questi numeri...)