lunedì 13 novembre 2017

#pirreviù6: Scholar, Scopus, IDEAS, and all that...

In questo blog ci siamo occupati, illo tempore, di Gallino, ma mai di Galli, fino a questa mattina, quando un nostro amico ha lasciato questo commento:

ALBERTO49 ha lasciato un nuovo commento sul tuo post "Emiliano e l'aritmetica del debito pubblico":

Tra i tanti Galli non trovo Giampaolo. E' magari un po' arruginito, invece di fare chichirichì fa pio pio!

Postato da ALBERTO49 in Goofynomics alle 13 novembre 2017 10:58

Essendo Alberto49 un protégé di Rockapasso, mi vedo costretto a intervenire. Parlare di Gallino ci dette l'occasione per mettere in chiaro cosa intendessimo per operazione di verità politica. Parlare di Galli ci permetterà di chiarire cosa si intenda per produzione scientifica, e in particolare come si misuri quella peer reviewed. Visto che per anni siamo stati accusati dalle squadracce liberiste di essere "ai margini della comunità scientifica", di "non avere articoli peer reviewed", l'operazione non è priva di interesse.

Il riferimento fatto da Alberto49 alla base dati IDEAS è un pochino impreciso. In effetti, su IDEAS Galli compare: basta cercarlo. O meglio: compaiono alcune sue pubblicazioni. Lui no, perché su IDEAS, come su Google Scholar, il profilo dell'autore compare solo se l'autore decide di crearlo, decisione presa normalmente da ricercatori attivi, che hanno interesse a distribuire le loro ricerche nella comunità scientifica. Restano esclusi alcuni casi estremi. Ad esempio, se cercate Krugman (non le opere: l'uomo) su Scholar non lo trovate, così come non ci trovate Galli (se cercate me sono qui). Non sto dicendo che Galli sia un Krugman (o viceversa): sto dicendo che, come ogni distribuzione, anche quella della produzione scientifica ha due code, e non è difficile intuire in quali code cadano i due studiosi che cito. Galli, essendo del PD, cade ovviamente nella coda sinistra della distribuzione (qualcuno la spieghi a chi non l'ha capita)!

Google Scholar, essendo gestito da Google, dispone di un database bibliografico sterminato, ma di qualità piuttosto variegata. Comunque, il fatto di poter attribuire a ogni autore registrato le sue pubblicazioni, e di poter verificare se queste sono state citate da altri autori (registrati o meno), consente a Scholar di attribuire un "punteggio" a chi si registra. Io, ad esempio, in questo momento ho 468 citazioni su Scholar (di cui 69 per Il tramonto dell'euro),e un h-index di 11, il che significa che almeno 11 delle mie 77 pubblicazioni sono state pubblicate almeno 11 volte ciascuna (la mia undicesima pubblicazione in ordine di citazioni decrescenti è un lavoro sulla sostenibilità del debito nei PECO, apparso su Economic Bulletin, che ha avuto, appunto, 11 citazioni).

Notate che il famigerato GEV 13 (gruppo di esperti della valutazione dell'area 13, quella di economia), si serve di Google Scholar per diversi scopi, fr cui quello attribuire "punteggi" alle riviste (l'idea è che le riviste dove compaiono gli articoli più citati siano migliori, il che, da quando conoscete gli economisti, credo vi appaia facilmente come un'idea piuttosto bislacca: tuttavia, altri criteri ovvi a disposizione non ce ne sono). Questa scelta è stata criticata fin dall'inizio e i motivi sono facili da comprendere (qui una spiegazione più tecnica). Sottolineo che li condivido, anche se Scholar mi "premia": su Scholar il mio lavoro più citato è un libro non pirreviùd (peer reviewed), cioè il Tramonto dell'euro, e di pubblicazioni ne ho ben 77, dato che Google carica su tutto, comprese le mie dispense di vent'anni or sono per il corso di econometria (io nemmeno sapevo più che fossero in giro, ma Google le ha individuate in chissà quale server), o gli articoli su MicroMega. Scholar quindi è un indicatore abbastanza grezzo della qualità scientifica di un autore. Diciamo che non esserci, se non sei Krugman, non è un buon segno, ma esserci non è una garanzia.

Con IDEAS il caso è diverso, e questo perché IDEAS associa agli autori le pubblicazioni fornite da collane riconosciute dal database (e quindi: o riviste scientifiche, o collane di working papers registrati presso il servizio, il che implica un minimo controllo sulla scientificità della pubblicazione da parte dei gestori). Ovviamente ci sono anche qui dei problemi. Certe riviste (ad esempio il Cambridge Journal of Economics) non sono assidue nel trasmettere i dati a IDEAS. Ma, d'altra parte, Scholar fino a poco fa non prendeva in considerazione certe riviste importanti (quelle di Elsevier, vedi infra). Il punto però è che su IDEAS magari non troverete tutto, però quello che troverete non sarà annacquato dagli articoli di MicroMega o dalle dispense, perché MicroMega non è considerata rivista scientifica e le dispense non sono un lavoro di ricerca e non sono pubblicate. Tuttavia, ancora una volta, l'iscrizione a questo database è volontaria. Ci finisci solo se decidi di finirci, e non hai incentivo a finirci se non hai niente da dire (caso di scuola: economista del PD), o se tutti sanno quello che hai detto (caso di scuola: premio Nobel).

Qui finiscono le possibilità a disposizione dei comuni mortali, e si entra in quelle riservate agli addetti ai lavori, la più importante delle quali è Scopus. Scopus e Scholar hanno in comune la natura "privatistica". Scopus è gestita da Elsevier (forse la più grande casa editrice scientifica), mentre Scholar è gestito da Google (IDEAS invece è gestito da una rete di volontari). Per il suo funzionamento, Scopus (a differenza di Scholar) dà qualche garanzia di scientificità in più, e infatti, come forse saprete, per accedere alle abilitazioni scientifiche nazionali bisogna avere un certo numero di articoli elencati da Scopus. Per la precisione, questo riguarda chi concorre nei cosiddetti settori bibliometrici. Economia non lo è, ma avere pubblicazioni su Scopus è comunque rilevante per i più svariati motivi, che vanno dalla valutazione della qualità del dipartimento, alla distribuzione dei fondi di ricerca.

Ora, a differenza di IDEAS e di Scholar, su Scopus ci si finisce in automatico purché si sia fatto un qualche lavoro che il gestore considera scientificamente rilevante (quindi, tutti quelli della casa editrice Elsevier, ma non solo). Questo significa che mentre se non sei su Scholar, può anche essere che tu sia Krugman, su Scopus, se hai fatto una pubblicazione scientifica, ci sei per forza, e quindi chiunque può vedere cosa hai fatto e quanto gli altri lo abbiano trovato interessante. Di converso, se non ci sei, significa che scientificamente non esisti (nel caso di Scholar e IDEAS non si può giungere automaticamente a una simile conclusione).

Questo per la parte teorica.

Come esercitazione, vi lascio interpretare due schermate fresche di giornata:






Ora: queste evidenze spiegano perché certe persone parlino di svalutazioni catastrofiche del 30%, o di coefficienti di pass through uguali a uno, ecc. ecc., e altre no. Non ci spiegano però perché le prime vengano anche ascoltate quando dicono cose del genere (e, aggiungo: ascoltate da colleghi...), mentre le altre no. Non saprei aiutarvi a capirlo, e non mi interessa: io mi occupo di scienza, che è una cosa che si fa coi dati, e i dati sono qui. I sogni, le profezie di sventura, il wishful thinking e gli (un)educated guess li lasciamo a chi non ha dati da portare nel dibattito. Il loro nome è Legione (un altro lo conosciamo), ma noi abbiamo un alleato: la scienza, che non paga ogni sabato.

Sareste sorpresi, se foste dei professionisti, di vedere quanto poco consistenti siano certe persone che salgono in cattedra per fare lezioncine, e quanto la vostra percezione istintiva, basata sul buon senso e su una connaturata onestà intellettuale (quella che trae alimento dalla volontà di risolvere un problema vero e pressante), sia in effetti allineata con certi astratti e astrusi indicatori cui la comunità scientifica (quella vera) si rivolge quando deve capire con chi ha a che fare. In altre parole: se qualcuno, poniamo, vi dice che se votate male l'anno dopo ci sarà una recessione del 4%, o che se non si fa la riforma tale la Luna cadrà nel Pacifico, di una cosa potete essere certi: che quel qualcuno, nella stragrande maggioranza dei casi, scientificamente non esiste. Di converso, uno può anche essere una persona di buon senso, avere una sua genuina e istintiva comprensione dei fenomeni economici, senza aver mai buttato giù una riga. Può darsi, e questo non sarò certo io a negarlo. In questo caso, il de cujus sarebbe ingiustamente penalizzato da indicatori quali il numero di citazioni, o l'h-index. Per questo motivo io, tendenzialmente, sono restio ad utilizzarli: preferisco analizzare gli argomenti.

Ma, vedete, quello che vorrei farvi notare è che chi nel corso del tempo è venuto ad aggredirmi sulla base di una mia pretesa inferiorità scientifica valutata con criteri formali spesso era messo peggio di me secondo gli stessi criteri che brandiva contro di me! Si sono visti blogger stralunati, che in vita loro non avevano mai scritto neanche una cartolina alla fidanzata (per mancanza di fidanzata, essendo in nove casi su dieci dei pustolosi nerd reduci da studi ingiengngngngieristici...), rischiare una querela o comunque una causa per danni affermando che io non avessi lavori peer reviewed! Si sono visti colleghi con h-index, citazioni, e pubblicazioni in fascia A inferiori alle mie, senza una pubblicazione in economia monetaria internazionale, venire sulla pubblica piazza a sindacare sulla qualità del mio lavoro, svolto in ambiti dei quali loro nulla sapevano, con un gesto non solo di pessimo gusto, ma anche autolesionistico (perché poi gli indicatori sono lì: le basi dati ci sono, e le conosciamo tutti)...

Di converso, chi vale più di me tende ad avere rapporti civili con me. Mi riferisco a Zingales, che mi cita in uno dei suoi ultimi lavori (il che mi permette di farmi una ragione dei giudizi negativi espressi dal Raparo), o a Perotti, che sarà con noi a Pescara.

Ed è questo è il lato amaramente divertente della vicenda. Divertente, ovviamente, per gli addetti ai lavori. Gli altri posso immaginare che siano rimasti impressionati, a leggere certi giudizi sprezzanti sul mio conto. Ma di norma, se poi mi hanno visto, e hanno potuto confrontarmi con chi mi attaccava, Lombroso ha fatto il suo lavoro.

Amen.


(...nota: su Scopus il mio h-index è 6, e ho 21 pubblicazioni - 7 volte quelle di Galli [ricorda qualcosa?], che hanno ricevuto in totale 85 citazioni. Tenete a mente questi numeri...)

12 commenti:

  1. 3 documenti 101 citazioni: (re)citano il rosario.
    Professore, lei è un miscredente da INFER, venera gli idoli della scienza, è avido di dati mondani, ha la presunzione dell'intelletto... vanità di vanità.

    Comunque, in conclusione Alberto49 ha solo svirgolato un po' sul link.
    Tanto rumore per nulla (che fortuna, oggi doppia bamba!)
    E anche in termini di fede, il PIO PIO è molto azzeccato.

    RispondiElimina
  2. "Milanese, Bocconi, Mit, Banca d'Italia, Confindustria, Luiss. "Deputato PD." .... Ho capito bene, uno fa il dottorato al MIT nel 79, ha lavorato al centro studi BdI con ricerche econometriche per 15 anni, ha insegnato alla Bocconi e Luiss.... con un totale di tre pubblicazioni ?


    Giampaolo Galli (nato a Milano il 13 marzo 1951) è un economista e politico italiano.
    Ha una laurea in Economia Politica alla Bocconi di Milano e un Ph.D. in Economia presso il MIT (Cambridge, Ma.). Nel 1979 ha svolto attività di ricerca presso il Fondo Monetario Internazionale, Washington. Fra il 1980 e il 1995 al Servizio Studi della Banca d'Italia, si è occupato di mercato monetario, di ricerche econometriche e di previsioni economiche. Dal 1995 al 2003 è stato capo economista di Confindustria e ha svolto attività di consulenza per la Commissione Affari Monetari e Finanziari del Parlamento Europeo sulle questioni della politica monetaria europea e per il presidente della Commissione Europea (Romano Prodi).
    Dal 2003 al 2009 è stato direttore generale dell'ANIA. È stato docente incaricato di Econometria, di politica monetaria e di politica economica presso l'Università Bocconi di Milano, La Sapienza di Roma e l'Università Luiss-Guido Carli.
    Eletto nel febbraio 2013, alle elezioni politiche, deputato nel gruppo del Partito Democratico.
    [dalsole]

    RispondiElimina
    Risposte
    1. Guarda, è assolutamente possibile che il dr. Galli sia un ottimo economista, come del resto il dr. Cottard era un ottimo medico. Nota che c'è anche un elemento generazionale. Il dr. Galli ha undici anni più di me, cioè appartiene a una generazione che era, nel bene e nel male, meno subalterna rispetto alle logiche "bibliometriche". Se penso alle commissioni che mi hanno giudicato lungo la mia carriera, è sempre capitato che vi appartenesse almeno un membro con h index inferiore al mio, e magari con zero pubblicazioni internazionali (perché una volta non servivano per andare in cattedra).

      Inoltre, lui ha scelto di fare l'economista applicato, non quello accademico (quindi, secondo le categorie di Bisin, non andrebbe considerato economista: io ovviamente dissento da queste categorie). A un economista applicato, che deve rispondere rapidamente alle domande pratiche di chi lo paga, le pubblicazioni scientifiche non servono.

      Insomma: se il dr. Galli ha solo tre pubblicazioni su Scholar, una delle quali è una recensione, e un'altra delle quali è citata perché il coautore è il compianto Faini (quindi, in definitiva: se il dr. Galli ha solo una pubblicazione su Scholar) questo dipende dal fatto che per motivi generazionali e per scelta di vita non aveva bisogno di averne di più. Io quindi non critico per questo il dr. Galli.

      Tuttavia, a fronte di un track record simile, quello che critico è la sicumera con la quale il dr. Galli si esprime in questioni che ricadono nell'ambito della ricerca scientifica (come le dimensioni e gli effetti di una possibile svalutazione di una eventuale nuova valuta italiana), e soprattutto l'ascolto che i miei colleghi (che, per definizione, non sono suoi colleghi e lo sanno) gli prestano, senza alcun filtro critico. Vedere il dr. Galli che di fronte al Gotha di Tor Vergata (ossimoro) parla di svalutazione del 30%, senza che nessuno dica pio, quando la letteratura scientifica, come sapete, dice tutt'altro, non è stato un bello spettacolo. Ma il problema non è mio: è loro.

      Elimina
    2. Mi stupivo del numero tre o uno - ma ok, capisco - avete pure una categoria con percorso diverso.

      Anche nelle scienze "dure" le generazioni precedenti, eccellenze a parte, hanno tipicamente indicatori bibliometrici più bassi. C'era più ricambio, meno "competizione", l'università era in espansione, era meno vitale pubblicare ad ogni piè sospinto. E pur tuttavia non si può dire che il loro livello scientifico fosse inferiore.

      Questo per l'asimmetria temporale. Ma sarebbe pure da precisare - in controtendenza - che pure a pari età un record minore non sia necessariamente da considerare un demerito. Con la rincorsa odierna ad avere gli indicatori più lunghi accade anche l'opposta degenerazione: che alcuni propaghino inesattezze con forza e apparente autorevolezza proprio forti di un record numerico significativo (magari ottenuto con citation boosting più o meno legittimo o consapevole, e.g.).
      Rimane sempre l'unica sana pratica - la valutazione da parte di pari esperti delle persone e dei CV leggendo i lavori e mettendo in discussione in sede pubblica gli argomenti. Pratica che la bibliometrizzazione ha contribuito a ridimensionare, con problema anche nostro - e il discorso si fa lungo, ma anche corto.

      Elimina
  3. Finalmente ho capito dopo qualche semestre, cosa sono Scopus e Scholar, di cui mi parla il rampollo per articoli di Ingegneria pubblicati.
    Beh da una delle mie solite dispettose bambinate, naturali dopo una certa età, si è ripristinato un corretto quadro valoriale di riferimento; almeno per me!

    Saluti devoti a Monna Rockapasso, e ar suo Cavajere Nero.

    RispondiElimina
  4. Italia fuori come nel '58. Quasi 50 anni passati inutilmente anche nell' Italia pallonara. Allora eravamo al culmine di una fase in cui affidavamo le nostre sorti calcistiche a soldati di ventura, oggi siamo all' ennesimo "Brick in the wall" della crisi irreversibile; ma la speranza nel ravvedimento, forse esiste ancora!

    RispondiElimina
  5. Gli amici del club citano solo gli amici del club, altrimenti che club sarebbe.. è una vecchia storia, ben nota anche nelle scienze cosiddette dure..

    RispondiElimina
    Risposte
    1. Non ho mai capito perché il nostro club non voglia giocare questo gioco. Io lo faccio, gli altri no. Ma, si sa, io dico le parolacce, e scrivo più e meglio di loro, quindi perché aiutarmi? Forse perché io li sto aiutando?

      Elimina
    2. Allora vuol dire che gli amici del suo club non sentono di appartenere a un gruppo di convenienza..ma si sentono liberi..il che è una bella cosa..ma non paga, converrebbe organizzarsi meglio..

      Elimina
  6. Per curiosità mi sono cercato su Scholar ed ho ritrovato vecchi lavori di cui avevo perso la memoria.
    Ci sono molti omonimi ed ho trovato che in un caso ci sono state 36 citazioni.
    Altro che grande fratello, google fa di più.

    RispondiElimina
  7. "Qualcuno la spieghi a chi non l'ha capita!"
    E' la curva di Gauss, boja fauss!

    RispondiElimina

Tutti i commenti sono soggetti a moderazione.