Sulla valutazione

A giudicare da certe ingenue rappresentazioni sembra che la “valutazione” della ricerca scientifica sia un’invenzione dei nostri tempi. In realtà, fin dal Seicento le grandi Accademie scientifiche europee seguivano procedure di grande rigore nel valutare gli articoli, le memorie o i progetti scientifici che venivano loro sottoposti. Si formavano commissioni che emettevano giudizi mediante rapporti dettagliati e motivati. Naturalmente tutti questi rapporti erano firmati con nome e cognome. Chiunque li legga ancor oggi può giudicare della loro serietà: eventuali errori o intenti malevoli o troppo benevoli sono riconducibili a persone ben individuate che con le loro affermazioni misero in gioco il loro prestigio.
Al contrario, oggi viene considerato come una grande conquista l’anonimato dei relatori giudicanti o “referees” – anonimato che non viene neppure bilanciato da quello dei giudicati – perché, in tal modo, essi sarebbero liberi di esprimere i loro giudizi. Certamente sono liberi. Troppo liberi, fino all’arbitrio.
Ha non una ma cento ragioni Luciano Canfora a denunciare (Corriere della Sera, 30 luglio) lo «scandalo del killeraggio sui progetti, protetto dall’anonimato» che inquina le procedure di valutazione dei programmi di ricerca scientifica. Va aggiunto però che si tratta di uno scandalo non soltanto italiano e i cui principali fattori sono l’anonimato e la pretesa di voler conseguire l’oggettività del giudizio attraverso procedure meramente quantitative.
Sul primo aspetto potrei intrattenere il lettore per pagine. Sono stato direttore di una rivista di storia della scienza per diversi anni e ne ho viste di tutti i colori. Malgrado sottoponessi gli articoli al giudizio cancellando il nome dell’autore e ogni riferimento che permettesse di individuarlo, uno sport prediletto da parecchi referees era di scoprirne l’identità onde decidere che trattamento riservargli. Molti rapporti erano basati su pregiudizi sfrontati: “non condivido la filosofia scientifica dell’autore, quindi va bocciato”. Per non dire di castronerie che nessuno avrebbe osato scrivere se costretto a firmarle con nome e cognome. Fui anche vittima di una di queste situazioni quando presentai un articolo a una prestigiosissima rivista statunitense e il referee lo criticò enunciando una castroneria che comporterebbe un’immediata bocciatura in un qualsiasi esame di un biennio di matematica o fisica. Il direttore della rivista mi diede ragione, scrivendo testualmente che «il referee non era in grado di slacciarmi le scarpe sul tema» ma che lui aveva le mani legate perché non poteva ignorare il giudizio negativo. Era un killeraggio organizzato o quel direttore era soltanto un vile? Di certo questo episodio evoca il caso nostrano di un progetto Prin (progetti di ricerca di interesse nazionale) silurato sulla base del giudizio di un valutatore straniero che, forse in preda a fumi alcoolici, scambiò il responsabile del progetto (uno studioso di fama mondiale) con uno dei partecipanti deducendone l’incongruità del programma e dell’impiego dei fondi. I “garanti” interpellati risposero di non poter fare nulla perché non titolati a intervenire sul merito bensì soltanto sulle procedure che apparivano rispettate.
La ricerca è devastata oggi da una scandalosa miscela di irresponsabilità e di formalismo. L’irresponsabilità è conseguenza dell’anonimato che consente di emettere giudizi assurdi, faziosi, privi di fondamento e talora formulati con incredibile sciatteria, tanto non si firma, non ci si mette la faccia e non ci si gioca la reputazione. Canfora cita il caso di una spudorata inversione con cui si ascrivevano a difetti quelli che nello stesso giudizio venivano presentati come pregi pur di togliere un punto decisivo per il conferimento del finanziamento. E qui veniamo al secondo aspetto: il feticismo della forma, rappresentato dall’adesione a procedure quantitative che dovrebbero garantire l’oggettività del giudizio. Qui il discorso si amplia moltissimo perché l’introduzione di procedure quantitative che sopprimerebbero gli aspetti soggettivi del giudizio informa una concezione più generale della valutazione che riguarda non soltanto il giudizio dei singoli prodotti della ricerca o dei programmi di ricerca, ma anche i risultati della ricerca nel suo insieme nonché del sistema dell’istruzione scolastica e universitaria, a livello globale e a livello dei singoli istituti. “Valutare” viene presentato come toccasana del sistema della ricerca e dell’istruzione, purché si tratti di valutazione “oggettiva” e questa oggettività sarebbe garantita dall’adozione di procedure “scientifiche” che sopprimerebbero gli inconvenienti derivanti dall’intromissione del “soggettivo”, ricorrendo a griglie di parametri quantitativi “esatti”.
In realtà, mediante i numeri possono essere contrabbandati i giudizi più arbitrari e soggettivi e si può degradare la ricerca a livelli infimi. Questo fatto viene denunciato in due recentissimi documenti.
Il primo è una lettera firmata dai direttori di dieci tra le maggiori riviste di cultura scientifica e storia della scienza a livello mondiale (Annals of Science, Isis, Social Studies of Science, ecc.). Così inizia: «Viviamo nell’età della metrica. Intorno a noi le cose vengono standardizzate, quantificate e misurate. I ricercatori di storia della scienza e tecnologia debbono considerare ciò come un fenomeno pratico, culturale e intellettuale che è affascinante e cruciale al contempo […] e che è stato al centro del loro lavoro per almeno un quarto di secolo. […] Ora ci troviamo in una situazione in cui il nostro lavoro di ricerca è soggetto a una valutazione che si pretende precisa da parte di agenzie arbitrarie e non soggette a valutazione». La lettera mette sotto accusa l’ERIH (European Reference Index for the Humanities) che classifica il valore delle ricerche secondo che appaiano in riviste classificate per valore da parte di un comitato di persone che non ha alcuna rappresentatività del campo delle scienze umane. «L’ERIH – si osserva – dipende da un fondamentale fraintendimento delle regole e della pubblicazione della ricerca in questo campo. La qualità delle riviste non può essere separata dai loro contenuti […] Ricerche di alto livello possono essere pubblicate ovunque e in ogni lingua. Lavori di portata rivoluzionaria possono provenire da fonti marginali, dissidenti o inattese, piuttosto che dalle correnti principali e solidamente stabilite. Le riviste nel nostro campo sono varie, eterogenee e distinte. […] La British Academy ha concluso che l’ERIH com’è attualmente concepito non rappresenta un modo affidabile per stabilire una metrica per la valutazione delle pubblicazioni». In conclusione i dieci direttori invitano perentoriamente i compilatori dell’ERIH a rimuovere le loro riviste dalle loro liste a costo di essere marginalizzati nei finanziamenti.
Forse ancor più significativo è il documento dal titolo “Citation Statistics” prodotto circa un mese fa da tre autorevolissimi organismi scientifici, la International Mathematical Union (IMU), l’International Council of Industrial and Applied Mathematics (ICIAM) e l’Institute of Mathematical Statistics (IMS). Non posso addentrarmi in questo corposo testo di una trentina di pagine corredato di grafici e bibliografia. Mi limito a riassumerne la tesi centrale: «L’idea che la valutazione della ricerca debba essere fatta usando metodi “semplici e oggettivi” è sempre più prevalente oggi. Si crede che le statistiche delle citazioni siano di per sé più accurate in quanto sostituiscono giudizi complessi con numeri semplici e quindi superano la possibile soggettività delle valutazioni. Ma questa credenza è infondata». Difatti, continua il documento, è perfettamente illusorio che la statistica offra maggiore attendibilità di per sé. L’oggettività dei numeri può essere perfettamente illusoria. La filosofia del documento è espressa con una sentenza lapidaria in corsivo: «I numeri non sono di per sé superiori ai giudizi ponderati».
Chi parla così sono le associazioni che rappresentano chi più si occupa di numeri a livello mondiale…
Di fronte alla crisi del nostro sistema della ricerca e dell’istruzione sentiamo parlare da mane a sera di “valutazione”. Ogni invito a riflettere su quale sistema di valutazione sia opportuno introdurre e se non sia meglio affidarsi a procedure trasparenti e basate su “giudizi ponderati” e qualitativi cade nel nulla di fronte a una sorta di cupidigia di asservimento a metodologie improbabili e alla dittatura di esperti dalle improbabili competenze. Non mi sono mai schierato tra coloro che descrivono l’Italia come la sentina di tutti i mali – come si è appena visto non è proprio così – ma di certo un brutto vizio l’abbiamo: quello di adottare “innovazioni” vetuste quando ormai altrove si tende a metterle in discussione o a abbandonarle. Tale fu il caso della passione per le “nouvelles mathématiques” e la “new mathematics” che ci hanno lasciato in retaggio l’ossessione per la teoria degli insiemi e per l’aritmetica appresa colorando. Sarebbe opportuno che non si ripeta lo stesso errore con la valutazione. Per favore, niente anonimato e pochi numeri.

(Il Foglio, 10 agosto 2008)