venerdì 2 dicembre 2016

Scopriamo le carte (ASN chi legge)

Dunque...

Questa mattina alle 6, dopo una serie di scleri determinati la sera prima dal crash del server CINECA che mi aveva impedito di farlo, ho consegnato la mia domanda per l'ASN. Dopo di che, sono andato sulla terrazza dell'hotel Forum a intrattenermi piacevolmente col compagno Gutgeld. L'intervistatrice è molto famosa a casa sua, e pensa che la colpa sia della Cina. Contenta lei...

Dopo di che, me ne son tornato a casa, ho sbrigato un po' di corrispondenza, ho preparato il sito del nostro prossimo convegno (l'anno prossimo ne faremo tre), e poi mi è venuta una curiosità. Dato che ormai la domanda l'avevo fatta, mi è venuto in mente di andare a vedere come stessero messi i potenziali concorrenti. Sono così andato sul sito dell'organico docenti, mi sono scaricato la lista degli associati di politica economica, e sono andato a vedere come stavano messi a produzione.

Tre osservazioni preliminari:

1) non tutti quelli che sono attualmente associati di P/02 (politica economica) avranno presentato domanda: alcuni perché troppo vecchi (e magari diventati associati quando non c'era bisogno di produrre molto), altri perché troppo giovani (e magari non ancora pronti a diventare ordinari, ora che dobbiamo essere tutti Pico della Mirandola);

D'altra parte:

2) colleghi bravi da altri settori (es.: P/01 o P/03, cioè economia politica e scienza delle finanze) potrebbero essere tentati di far domanda in P/02, se la loro produzione è "borderline". Ma questo non posso saperlo.

Infine:

3) P/02 è un settore non bibliometrico, che quindi non usa criteri oggettivi di valutazione della produzione scientifica. D'altra parte, il primo verbale della commissione specifica che terrà conto del numero di citazioni per anno dei singoli lavori, desunte dal database Scopus.

Nei settori bibliometrici, viceversa, il D.M. 120 stabilisce che occorre considerare il numero di citazioni e l'indice h desunto dalle basi dati Scopus (gestita dalla Elsevier) e Web of Science (gestita dalla Thomson-Reuters). Sì, sto dicendo che dobbiamo essere valutati in funzione di agenzie di rating non molto più indipendenti di quelle che dettero la tripla A a Lehman (e infatti le riviste dove scrivono quelli per i quali tutto stava andando benissimo ricevono anche loro un ottimo rating)!

Comunque, siccome è un gioco, le regole non si discutono, e sono andato per curiosità a vedere come ero classificato, cercandomi su Scopus l'"estratto conto" dei miei 133 colleghi. Un'operazione comunque interessante, che mi ha fatto scoprire forme di vita intelligenti su questo pianeta. In ogni caso, parliamo di numeri.

La mia scheda su Scopus è questa:


Ho 17 lavori repertoriati, con 66 citazioni e un h-index di sei.

Cosa vuol dire questo numeretto? Che ho almeno 6 lavori che hanno più di sei citazioni. Per capire come funziona la cosa, Scopus fa anche un grazioso grafico, che vi mostro:


La retta rossa indica il numero delle pubblicazioni, che potete immaginare ordinate dalla più citata alla meno citata. All'origine degli assi si trova chi ha zero pubblicazioni (e quindi anche zero citazioni). Poi la retta si innalza, e si arriva alla pubblicazione 1, quella più citata, che nel mio caso è questa, con 21 citazioni. La spezzata blu quindi parte da 21. Poi la retta rossa sale alla seconda pubblicazione più citata, che nel mio caso è questa, con 13 citazioni. La spezzata blu quindi scende a 13. Procedendo così, la retta e la spezzata si incontrano in un punto in qui l'ascissa (cioè il rango della pubblicazione) e l'ordinata (cioè il numero di citazioni) sono uguali, e lì ci si ferma, e quello è l'h-index. Il mio è sei (secondo Scopus), a indicare che la mia sesta pubblicazione più citata ha avuto sei citazioni.

Dico subito che se andate su Scholar vedete una situazione diversa: lì l'h-index è 11, perché si tiene conto di un numero più ampio di pubblicazioni, fra le quali Il tramonto dell'euro, che ha 51 citazioni, molte delle quali su rivista internazionale. Ma tutto questo Scopus non lo sa, e quindi ho preferito lasciar perdere (e peraltro non ho messo Il Tramonto nella mia domanda, avendo altro da metterci).

La domanda quindi diventa: ma 17 pubblicazioni su Scopus, con un h-index di 6, sono poche o tante per un associato di politica economica? Un qualche indizio lo si può avere andando a vedere come stanno messi gli altri, ma ricordando sempre che l'abilitazione non è una valutazione comparativa: se sei meglio degli altri, insomma, potrebbero comunque non abilitarti, ritenendo che tu non sia abbastanza buono. Allora, parto dalla sintesi. La mia situazione è questa:


Con 17 lavori sono sopra alla mediana dei docenti del mio settore (P/02) nella mia fascia (associato), mediana che è pari a 11. Significa che metà degli associati di P02 ha al più 11 lavori. Io in effetti sono al terzo quartile, ovvero: solo il 25% degli associati di P02 ha più di 17 lavori (considerati da Scopus, ovviamente). Quindi qui direi che va bene. Ad oggi quello con più lavori su Scopus ne ha 63, con 105 citazioni, ma il suo h-index è più basso del mio (solo 5), il che significa che molti di questi lavori non sono stati citati, come mostra il relativo grafico:

(i lavori dal 34° in poi hanno zero citazioni, e se escludiamo le autocitazioni l'h-index scende a quattro, mentre il mio resta a sei).

Sono sopra la mediana, ma sotto il terzo quartile, anche come numero di citazioni. In effetti, il 50% degli associati di P/02 ha meno di 49 citazioni, e io ne ho 66, il che però non mi permette di accedere al 25% dei più citati, i quali hanno tutti almeno 112 citazioni.

Il più citato ha addirittura 624 citazioni ed è oggettivamente una bestia (in senso positivo): 40 pubblicazioni con h-index di 13. Si occupa di economia ambientale, ha coautori molto bravi, scrive su ottime riviste.

Poi c'è l'h-index. È interessante vedere come si muove rispetto al numero di pubblicazioni e al numero di citazioni.



Io sono sempre il puntolino rosso. Nell'ultimo grafico vedete che io sono, fra quelli con h-index 6, quello che ha meno citazioni. Questo significa che gli altri hanno probabilmente fatto più cose, ma meno interessanti (le loro citazioni in più sono disperse fra tanti lavori, nessuno dei quali è stato citato più di sei volte).

Comunque, tornando alla classifica, anche in questo caso io sono sopra il terzo quartile. Il 25% più "bravo" dei miei colleghi ha un h-index Scopus superiore a cinque. Il mio è sei. Quello del più bravo, come si vede dal grafico, è 14, e ci arriva un autore che a me piace molto e che credo di avervi anche citato spesso, nonostante sia un pezzo del problema e non della soluzione. Diciamo che gli dobbiamo la soddisfazione di aver visto il Manifesto sorpassato a sinistra dal Fondo Monetario Internazionale. Non che ci volesse molto, ma è comunque un bel vedere...

Sintesi: due indicatori su tre mi collocano nel 25% dei più "produttivi", ma ci sono molte cose da considerare:

1) magari decidono di abilitare solo il 10%;

2) possono arrivare persone brave da altri settori;

3) ci possono essere colleghi più giovani di me che hanno fatto più di me;

e via dicendo. Quindi ora aspettiamo di vedere cosa succede...

Con questa visita guidata nella mia aurea mediocritas si conclude una giornata piuttosto lunga. Quella di domani lo sarà ancora di più: andiamo verso l'equinozio di primavera!























(...e verso la sconfitta di Renzi. Ma di questo parliamo domani, magari. Voi intanto controllate la tessera elettorale, perché, come questo post dimostra, niente è gratis, e tutto richiede impegno...)

(...magari rifacciamo questo gioco con Scholar o con WoS per vedere lì le cose come vanno. Su WoS ho solo 8 pubblicazioni, quello è un club più esclusivo, mentre su Scholar ne ho 73, ma a Google nulla sfugge, e si carica anche le mie vecchie dispense di econometria...)

21 commenti:

  1. Avrei una domanda riguardo i differenti campi di ricerca in economia. Lei ha affermato che e' nel terzo quartile pur avendo h-index 6. Ovviamente, l'h index di per se' non puo' essere confrontato direttamente tra i differenti campi d'indagine, dato che una grande comunita' scientifica generera' con tutta probabilita' un alto numero di citazioni rispetto ad una un po' piu' ristretta (ad esempio, i biologi o i medici sono troppi e i loro giornali pornscience dove pubblicano hanno di solito un alto impact factor). Altro esempio, puo' essere uno Zingales che, sempre dati Scopus, ha un h-index 34. Esiste dunque, tutta questa differenza tra le comunita' accademiche nell'ambito economico?

    RispondiElimina
  2. Albè, io dico che sei comunque il number one, non so che fanno gli altri, quali lavori, ma in questa giungla sei un riferimento. Questo conta. Penso con terrore a cosa sarebbe stato il mio personale percorso nel mondo soprattutto negli ultimi due anni senza i tuoi lavori!

    RispondiElimina
  3. WoS e Scopus sono una chiavica. Nel mio settore c'è un database bibliometrico gratuito gestito dallo Smithsonian e dalla NASA: non gli sfugge nulla ed è in grado di distinguere fra riviste con referee e contributi a congressi non "referati". Calcola automaticamente una dozzina di indici bibliometrici (incluso naturalmente h) su qualunque sottoinsieme di pubblicazioni si sia selezionato (includendo o escludendo le auto-citazioni). Ma ANVUR e ASN accettano solo WoS e Scopus che normalmente si perdono molti lavori (non mi spiego come facciano essendo pubblicati sulle massime riviste internazionali del settore, da noi non c'e' molta scelta) e mari di citazioni. Privato bello efficiente onesto giusto / pubblico brutto lento corrotto iniquo. Ma più porti esempi del contrario e più adorano il loro dogma.

    RispondiElimina
  4. Se la faranno ordinario mi congratulerò con lei, perché avranno inventato un sacco di indici ma poi scelgono come cazzo gli pare. Avrò però guadagnato un dubbio. Come farò a dire a mio figlio di studiare invece di stare tutto il giorno su Twitter?

    RispondiElimina
  5. Mi sono svegliato di soprassalto e con il batticuore.
    Tira una brutta aria.
    Se passa l'idea che in nome del cambiamento si permette alle banche d'affari responsabili della crisi finanziaria più grande della storia dell'umanità di scrivere non solo le leggi come già accade, ma persino le Costituzioni degli Stati, allora ragazzi, è finita.

    RispondiElimina
  6. DATE A CESA QUEL CHE E' DI CESARE E AD ALBERTO TUTTO IL RESTO

    Complimenti a parte (sottoscrivo @ALBERTO49) vorrei commentare l'ultima parte del post:
    Ieri riflettendo con mio figlio sul da farsi mi faceva notare che tutto questo scempio a cui stiamo assistendo è avvenuto a Costituzione vigente. Così come ben descritto più volte in questo blog e in quello di Luciano Barra Caracciolo, il completo accantonamento delle politiche keynesiane di cui è permeata la nostra Carta costituzionale, è avvenuto in barba a tutti gli articoli che esplicitamente o implicitamente ne suggerivano l'implementazione.
    Lì per lì non ho saputo cosa rispondere, poi raccogliendo le idee ho ribattuto: Sarebbe come cambiare il Nuovo Testamento perché il comportamento non proprio integerrimo di alcuni cristiani o prelati non è conforme allo spirito evangelico.
    Da un punto di vista logico il ragionamento non fa una grinza. Ma come diceva il grande Yogi Berra: In theory, there is no difference between theory and practice. But, in practice, there is.
    Aggiungo: a cosa sono serviti gli ultimi 15 referendum? Acqua pubblica, finanziamento ai partiti, ecc. ecc.?
    A nulla! Perché il volere del popolo non se lo fila nessuno.
    Sono gli uomini che incarnano le istituzioni che decidono di farle marciare in un senso o nell'altro, indipendentemente da Costituzioni o leggi o pareggi di bilancio e stronzate varie.
    In questi anni nonostante la Costituzione più bella del mondo ci si è messi "a pecorella" pronti a "ricevere" da tergo i diktat della UE e dei potentati economici.
    Nonostante tutto dirò il mio NO a questa raffazzonata riforma conscio che comunque vada faremo lo stesso una brutta fine.
    Finirà male

    RispondiElimina
  7. Ma per poter accedere ai titoli delle sue pubblicazioni più citate su Scopus bisogna loggarsi. Vabbe', Profe, le credo sulla parola... Ora vado a cercare la mia tessera elettorale che non ho usato molto, finora.
    Ah, per avere la sicurezza di conseguire l'ASN, aiutererebbe fare un salto in Ecuador.

    RispondiElimina
  8. In bocca al lupo professore.
    Già preparata scheda elettorale per domani; un bel NO mi attende.
    Cari saluti e grazie ancora per il suo lavoro.

    RispondiElimina
    Risposte
    1. Crepi. Per la cronaca, mi hanno aiutato nel compito di analizzare la produzione dei colleghi un paio di bicchieri di Peroni (Maddalena). Grazie.

      Elimina
    2. Mi fa molto, ma molto piacere.
      Buona serata.

      Elimina
  9. Alberto, spero con tutto il cuore che il fato ti sia benevolo!

    Intanto tempero (metaforicamente) la matita... :-)

    RispondiElimina
  10. Il sistema universitario va cambiato. E' vero che la costituzione dice che i dipendenti pubblici vengono assunti per concorso, ma non specifica come deve svolgersi il concorso.

    Nel mio settore (scienza delle costruzioni, icar08) la prassi, a cui, me sventurato!, non ho mai voluto aderire, è accodarsi ad un settore che 'tira' e poi il gruppo di ricerca si organizza automaticamente con altri gruppi di ricerca (possibilmente stranieri) e io cito te, tu citi me, io revisiono te, tu revisioni me.

    Il risultato è una ricerca valutata 'al kilo', e il bello è che se non ti adegui stai fuori: devi per forza fare cosi per ottenere crediti e punti, come uno studente. Secondo voi, al mercato, se tutto è valutato al kilo troverete mai tartufi? O solamente patate?

    La soluzione, in contrasto con il sentire comune, è dare molta più libertà alle commissioni e anche agli stessi dipartimenti, e insieme alla libertà anche la responsabilità. Affidarsi a queste agenzie significa che comunque la commissione fa come gli pare (il sistema è facilmente hackerabile con il meccanismo di cui sopra) e poi si può giustificare dicendo che il sistema rendeva la scelta obbligata.

    Spero che entrerai a far parte dell' "Ordine dei Professori", ma più per l'Ordine che per te. Un Uomo che si sfascia le corna per 5 anni per difendere la propria professione dai Cialtroni e per far capire come aggiustare le cose non merita che il tappeto rosso, indipendentemente da quanto ha lungo l'h-index.

    PS: da qualche giorno mi sono accorto che i Cialtroni ci sono anche nel mio settore. La cosa mi ha sorpreso, si sa che l'economia non è una scienza (!?), ma la meccanica del continuo... per diamine! Noi si ubbidisce alle leggi della fisica! E invece stanno venendo a prendere anche noi. Sto facendo anche io il mio dovere, per quel poco che posso. Se tutto andrà come penso, ci sarà veramente da ridere (=piangere), e vedrò di condividere la cosa con voi.

    PPS: per domani tengo le dita incrociate. E' una settimana che ho la mia pistola elettorale sopra un mobile all'ingresso, non vedo l'ora di usarla.

    RispondiElimina
    Risposte
    1. Se non fosse per l'annullamento della scheda, sarei entrato in cabina con un ferro rovente a forma di X, per marchiare la casella NO.

      Elimina
  11. Non temete! Le parrocchie sono con NO-i. Hanno dei sassolini da togliersi dalle scarpe, e ora fanno comodo!

    RispondiElimina
  12. In bocca al lupo Professore. Concordo sul fatto che dovrebbero stenderle il tappeto rosso.

    RispondiElimina
  13. Certo che 51 citazioni per un capolavoro come il Tramonto sono un'assurdità. Capisco che non contenga novità in termini di scienza, ma è uno dei libri recenti con maggior impatto che io conosca. Non tenerne conto al momento di conferire o meno un'abilitazione sarebbe un'assurdità. La letteratura scientifica (almeno nel mio settore) è piena di schifezze con decine di citazioni, che non valgono neanche il titolo del suo libro.
    Una curiosità: ha provato a controllare che le citazioni su scopus ci siano tutte, magari incrociando i dati con scholar? Potrebbe valere la pena farlo prima che la commissione valuti la domanda. Io tre anni fa scrissi una ventina di email a scopus per segnalare citazioni mancanti, cosa che mi permise di migliorare un pò gli indici. Certo, visto l'utilizzo fatto finora della mia abilitazione da associato, mi rendo conto che avrei potuto spendere meglio il mio tempo... Ma sono sicuro che non sarebbe il suo caso.
    Comunque in bocca al lupo, credo proprio che si meriti questo riconoscimento.

    RispondiElimina
  14. Dalla fine del 2013 sono abilitato (per i settori 02/a2 e 02/b2) sia in seconda che in prima fascia. Non sono diventato nè associato nè ordinario e francamente mi è anche passata la voglia. Il sistema dell'asn è ridicolo. Le banche dati fanno acqua da tutte le parti, e le citazioni dovrebbero avere solo un piccolo ruolo nelle valutazioni (ho studiato molto la vqr qualche mese fa, stesso problema). Tutto questo per dire: solidarietà. E ovviamente in bocca al lupo.

    RispondiElimina
  15. Interessante. Però il sistema delle citazioni mi sembra vada a premiare i ricercatori più "mainstream". Cioè chi propone idee innovative ma non accettate (o accettabili) da tutti sarà anche meno citato.
    E poi, siccome tutti non possono leggere i lavori di tutti, i ricercatori più famosi (già più citati) saranno i più letti e quindi ancora più citati: forse occorrerebbe introdurre un indice che ne tenesse conto...

    RispondiElimina
  16. Buon giorno Professore.
    Un caloroso in bocca al lupo e un ringraziamento per quanto ha dato e continua a dare. Auguri di buone e felici Festività.

    RispondiElimina

Tutti i commenti sono soggetti a moderazione.