La sopravvalutata pratica della valutazione "oggettiva"

“Valutare” è la parola d’ordine dei giorni nostri, la pratica indicata come toccasana per rimettere in sesto i disastrati sistemi dell’istruzione e della ricerca: valutare i professori, valutare le scuole, valutare le università, valutare la ricerca scientifica. È parte di un’ossessione che, come osservavo in una precedente rubrica, ha raggiunto livelli tali da prospettare persino la valutazione degli ecclesiastici… A parte questi ridicoli eccessi, in varie occasioni ho criticato la metodologia con cui viene prospettata la valutazione e cioè l’uso di metodi numerici che vengono gabellati come “oggettivi”. Queste critiche mi stanno costando una raffica di insulti all’insegna del metodo classico del linciaggio: se critichi le modalità di qualcosa significa che non la vuoi. Insomma, sarei contro la valutazione in sé, e quindi un reazionario difensore dei privilegi corporativi di chi non si vuol far controllare.

Ovviamente non è così, e nel denunciare le aberrazioni della valutazione con numeri e statistiche sono in buona compagnia. Di recente, D. N. Arnold, presidente della prestigiosa istituzione scientifica internazionale SIAM (Society for Industrial and Applied Mathematics) che pubblica quindici riviste, ha denunciato gli effetti devastanti di questi metodi. Spieghiamo rapidamente di che si tratta. Con i metodi bibliometrici si pretende di valutare “oggettivamente” le pubblicazioni scientifiche mediante il “citation index”, ovvero il numero di citazioni che hanno ricevuto in un dato periodo, e l’“impact factor” della rivista. Quest’ultimo è dato dalla frazione C/A, dove A è il numero degli articoli pubblicati dalla rivista nei due anni precedenti e C il numero delle citazioni ottenute nell’anno in corso su riviste contenute nel database della ditta privata che fa questi calcoli, la Thomson Reuters. Inutile dire che, se la rivista non è nel database della Thomson Reuters sei fuori gioco. Per farsi accreditare occorre una penosa trafila. In Europa, per le riviste di scienze umane, è stato proposto un sistema (ERIH, European Reference Index for the Humanities) talmente assurdo e punitivo che tutte le maggiori riviste di storia e cultura scientifica del mondo hanno preferito affrontare le conseguenze di non essere valutate.

Il difetto principale di un sistema che, anziché attenersi alle valutazioni di merito – al giudizio della comunità scientifica, ovvero ai pareri e alle recensioni scritte – indica obbiettivi numerici da conseguire, è che i disonesti e i mediocri individuano strategie truffaldine adatte allo scopo. Arnold ha denunciato casi inauditi. I direttori di alcune riviste si sono autopubblicati i propri lavori sulle medesime autocitandosi a raffica e facendo pubblicazioni incrociate con compiacenti colleghi direttori di altre riviste, in modo da far crescere alle stelle il numero delle citazioni. Due riviste che si sono reciprocamente autocitate hanno così ottenuto la prima posizione in termini di “impact factor”. Altre hanno ottenuto posizioni eccellenti sempre con lo stesso sistema. Il fatto gravissimo è che parecchi articoli sono risultati semplicemente plagiati, copiati di sana pianta da articoli pubblicati altrove, altri sono apparsi di infima qualità a un esame attento. Due ricercatori hanno presentato un articolo generato a caso con un programma informatico, e privo di qualsiasi senso: è stato accettato, purché pagassero 800 dollari. Insomma, gli indicatori numerici vanno alle stelle proprio dove la qualità crolla a livelli indecenti. Arnold parla di «integrità sotto attacco» e chiede la sospensione delle valutazioni bibliometriche. Un corporativo che non vuol essere valutato?

(Tempi, 20 maggio 2010)