I concorsi in cui vince il peggiore

Due recenti concorsi da ricercatore universitario in economia sono stati vinti dai candidati peggiori. Non è un’esagerazione, un modo di dire: sono davvero i peggiori. Lo si può stabilire classificando la qualità delle pubblicazioni di ciascuno dei candidati attraverso gli indici bibliometrici, parametri usati a livello internazionale.

Il primo concorso si è svolto ad Alessandria il 30 novembre del 2011. Si sono presentati 13 candidati. Secondo questa tabella la candidata vincitrice è stata l’unica a prendere zero sistematicamente in tutti gli indici bibliometrici usati comunemente. Il secondo concorso si è svolto a Varese il 25 gennaio del 2012. Si sono presentati in 17. Di nuovo ha vinto il candidato che ha preso zero in tutti gli indici comunemente usati. Al primo caso è seguita una petizione promossa da un gruppo di dottorandi, assegnisti di ricerca e ricercatori riuniti in un gruppo su Facebook dal nome “SECS in the cities”: SECS è l’acronimo ministeriale con cui vengono indicate le materie economiche (Scienze Economiche e Sociali). La petizione è circolata molto online, ha raccolto 1400 firme di docenti e ricercatori di tutto il mondo, ha avuto risalto anche sulla stampa nazionale e infine ha convinto il rettore a bloccare la procedura e mettere sotto inchiesta interna il presidente di commissione. Del secondo caso, più recente, si sta già parlando molto online.

Nel caso di Alessandria, le uniche pubblicazioni della vincitrice si trovavano su volumi curati oppure direttamente o co-autorati dal presidente della commissione stessa. Nel caso di Varese i cinque lavori pubblicati a oggi dal vincitore del concorso sono capitoli di un unico testo in italiano curato dal presidente della commissione esaminatrice. Tre di questi capitoli sono co-autorati col presidente stesso. Questi due presidenti si sono quindi trovati a valutare la bontà delle loro stesse pubblicazioni che, in barba agli indici bibliometrici infausti, hanno giudicato essere le migliori. Per inciso, la pubblicazione su volumi collettanei non usa il meccanismo di peer-review ed è per questo che viene considerata di valore molto scarso. Lo conferma il numero delle citazioni ricevute da questi lavori che è stato pari a zero. E a questo punto è il caso di spiegare che cosa sono indici bibliometrici e peer review.

Come si valutano le pubblicazioni
Da alcuni anni, e in attesa che entri definitivamente a regime la riforma Gelmini, i ricercatori universitari vengono selezionati esclusivamente sulla base di una valutazione comparativa. Ovvero la commissione di concorso è chiamata esclusivamente a valutare i curricula dei candidati ed in particolare la loro capacità di fare ricerca. Valutandola così.

La ricerca accademica viene pubblicata sulle riviste scientifiche. Praticamente tutte quelle degne di questo nome usano un sistema chiamato peer review: l’articolo viene sottoposto all’attenzione dell’editor della rivista, passa un suo primo vaglio (nelle riviste migliori questo è già uno scoglio durissimo) e viene inviato a due o più referees anonimi che consigliano l’editor circa la bontà o i miglioramenti apportabili al lavoro. Se si passa anche questo scoglio, solitamente si va incontro a rimaneggiamenti del lavoro che portano via un sacco di tempo. Ci possono essere diversi round di botta e risposta tra autore, editor e referees e questo processo può durare persino degli anni.

(Il Post: Gli scienziati si ribellano alle riviste scientifiche)

Le riviste, che sono centinaia per ogni settore accademico, non sono tutte uguali. Ci sono riviste migliori di altre, su cui gli autori migliori vogliono e riescono a pubblicare lavori in media migliori, che a loro volta vengono citati più spesso da altri autori e quindi, in un circolo che si autoalimenta, contribuiscono a mantenere alto il prestigio della rivista. Naturalmente la ricerca scientifica è un’avventura serendipitosa: a volte qualcuno pubblica un risultato su un giornale medio perché inizialmente non se ne percepiscono le implicazioni ma poi con il tempo l’articolo diventa una pietra miliare di una data disciplina (e contribuisce quindi ad innalzare il prestigio della rivista). Nel caso opposto, autori noti possono pubblicare dei risultati su riviste prestigiose che però in seguito non cita mai nessuno. Generalmente, comunque, le riviste prestigiose accettano lavori buoni in grado di raccogliere molte citazioni, e gli autori di lavori buoni hanno tutto l’interesse a pubblicare su queste riviste di prestigio.

(Il Post: Cos’è la ricerca, davvero)

Se quindi le pubblicazioni riflettono la capacità degli autori di contribuire alla ricerca, e se la bontà delle pubblicazioni è proporzionale al numero di citazioni che l’articolo o la rivista ricevono, allora abbiamo in mano uno strumento per misurare quantitativamente il contributo alla ricerca di ogni autore. E quindi di ogni candidato a un concorso da ricercatore. Esistono molte varianti di questi misure e queste vengono definite “indici bibliometrici”. Gli indici bibliometrici non sono esenti da criticità: come tutte le misure quantitative composte da fattori qualitativi, vanno usati cum grano salis. Sono però uno strumento imprescindibile per chiunque si trovi a valutare la ricerca scientifica; sia per chi deve decidere a quali dipartimenti concedere i fondi di ricerca, sia per chi deve decidere della promozione di un professore o dell’assunzione di un giovane ricercatore. Inoltre, l’uso degli indici bibliometrici è espressamente previsto dalla legge che regola i concorsi universitari in oggetto (D.M. 28/07/2009 n. 89 ) e nel bando di concorso – tutti i riferimenti opportuni sono nel testo della petizione – è anche previsto l’uso degli indici bibliometrici.

Vinca il peggiore
Gli scettici e i critici degli indici bibliometrici potrebbero avere degli argomenti se fossimo in presenza di una commissione che si fosse basata solo e soltanto su queste tabelle per determinare in maniera automatica il vincitore. In fondo indici diversi dicono cose diverse e da queste tabelle, per ciascun concorso, non emergono candidati che si distacchino nettamente e indubbiamente dagli altri. Queste tabelle ci dicono però un’altra cosa: che in ciascun concorso c’era un candidato che era nettamente peggiore degli altri. Gli indicatori bibliometrici avrebbero dovuto indurre qualsiasi commissione che avesse voluto mantenersi nei confini della legalità a scartare i due candidati peggiori. E invece i peggiori hanno vinto il concorso.

– Il Post: La ricerca scientifica sui blog