Crisi della cultura numerologica e i problemi della valutazione

La qualità si può misurare?

«Siamo di fronte a una cultura dei numeri in cui istituzioni e individui credono che si possano conseguire decisioni eque mediante la valutazione algoritmica di alcuni dati statistici .... incapaci di misurare le qualità i decision-makers sostituiscono la qualità con i numeri che essi possono misurare» (Dal documento "Citation Statistics»).


Riporto un confronto pubblicato su Avvenire una decina di giorni fa sul tema della misurazione delle qualità e dell'ossessione numerologica.

Gli specialisti della misurazione delle qualità reagiscono in modo irritato a quello che sentono come una messa in discussione del loro mestiere.

Ma non è conveniente nascondersi dietro un dito.

La misurazione delle qualità fa acqua da tutte le parti e mette in discussione i procedimenti cosiddetti "oggettivi" nella valutazione: è un problema molto attuale nel campo dei sistemi dell'istruzione e della ricerca scientifica.

Frattanto, le massime autorità in tema di numeri proscrivono sempre più apertamente e radicalmente l'uso di metodi numerici nella valutazione della ricerca.

Poco più di un anno fa istituzioni prestigiose come la International Mathematical Union, l'International Council of Industrial and Applied Mathematics, e l'Institute of Mathematical Statistics hanno prodotto un documento Citation Statistics che demolisce teoricamente i metodi bibliometrici e, in particolare il citation index, concludendo con un'affermazione molto netta: «Numbers are not inherently superior to sound judgements».

È seguita una presa di posizione di tutte le più note e prestigiose riviste di storia e filosofia della scienza del mondo, Journal under Threat , che rigetta il metodo di valutazione numerica ERIH e preferisce rinunciare a tutti i vantaggi (finanziamenti) derivanti dall'essere valutati in questo modo.

Infine di recente è intervenuto un'altra personalità di prestigio, il Presidente di SIAM, Society for Industrial and Applied Mathematics, Douglas N. Arnold. In un durissimo articolo, Integrity under attack: The State of Scholarly Publishing, in cui denuncia il modo scandaloso con cui molte riviste e autori usano abilmente i metodi di valutazione quantitativa per trarne vantaggi a scapito della serietà della ricerca, chiede esplicitamente la soppressione dell'uso di metodi bibliometrici per la valutazione.

Sarebbe il caso di prendere atto di questi sviluppi.

Per ora riguardano la ricerca scientifica e, di conseguenza, ovviamente la valutazione del sistema universitario.

Ma è bene guardare in faccia la realtà. La problematica è unitaria. Le implicazioni sui metodi di valutazione numerica dei sistemi scolastici sono evidenti.

Quanto all'idea generale che si possono "misurare" - non tanto attribuire generiche stime numeriche, come i voti a scuola, ma "misurare" in modo preciso e oggettivo - le qualità, è un modo per buttare al cestino le acquisizioni di qualche secolo di metodologia della scienza in nome di considerazioni generiche ed è espressione di una certa fatuità culturale e teorica dilagante.

====================================== 

Perché sì

Allulli:

Con la sua consueta serenità e pacatezza Giorgio Israel, in un articolo pubblicato sulle colonne di questo giornale, ha dato del ciarlatano a chi ha il coraggio di parlare di "misurazione della qualità"; se, invece di insultare, si documentasse su ciò di cui parla, scoprirebbe che la qualità non solo è misurabile, ma è di fatto misurata tutti i giorni. Innanzitutto che cos’è la qualità? Le definizioni che ne vengono date convergono sul principio che la qualità è il grado in cui un processo od un prodotto od un servizio od una prestazione soddisfa le attese dell’utente/cliente/consumatore (che a sua volta può essere singolo o collettivo).

 Tutti noi misuriamo ogni giorno la qualità di ciò con cui veniamo a contatto: una macchina, una pietanza, un servizio pubblico; tuttavia le nostre attese rispetto al prodotto/servizio spesso sono diverse, in quanto ognuno matura aspettative diverse e molto personali. A parità di prestazione il giudizio che emerge dai diversi "giudici" può essere dunque molto diverso. Questo non significa che la qualità non si può misurare, ma solo che il giudizio che viene attribuito è frutto di una elevata soggettività.

 Che cosa fa Israel quando assegna i voti ai suoi studenti all’università: non esprime forse una misura quantitativa di una prestazione qualitativa? È tutto il sistema scolastico a basarsi su giudizi numerici di prestazioni qualitative. Il problema dunque non sta in questo; sta piuttosto nel fatto che la prestazione viene misurata in modo del tutto soggettivo e senza rendere chiari, espliciti e trasparenti i criteri di giudizio. Su quale base si assegna un voto ad una interrogazione o ad un compito scritto? Sulla base della conoscenza della materia, della vivacità espositiva, della logica argomentativa, della correttezza grammaticale, sintattica e lessicale della esposizione?

 Probabilmente la maggior parte dei docenti usa tutti questi criteri, ma sicuramente ognuno di loro li "pesa" diversamente, come sa chiunque abbia reminiscenze di scuola. Su quale base si assegna 25 o 27 in un esame universitario? Anche in questo caso i criteri di giudizio divergono profondamente, al punto che in alcune facoltà si possono trovare medie altissime, mentre in altre i voti sono molto più bassi; lo stesso fenomeno accade con i voti scolastici.

 E su quale base si giudica una scuola? Lo sa Israel che gli ispettori inglesi dell’Ofsted, che lui cita ad esempio, prima di entrare in una scuola analizzano tutti gli indicatori sul funzionamento della scuola, sui risultati dei test, sugli abbandoni, in modo da disporre di punti oggettivi di riferimento per il loro giudizio? E lo sa che i giudizi degli stessi ispettori vengono formulati sulla base di criteri molto precisi, e non solo di un generico apprezzamento della "qualità"? Insomma la qualità viene misurata tutti i giorni. Ecco allora la necessità di confrontarsi su come "misurare la qualità". Non per rendere del tutto oggettivo il processo di valutazione, perché non lo sarà mai. Però per renderlo almeno un po’ meno casuale ed arbitrario di adesso.

Perché no

Israel:

Si rassegni Giorgio Allulli. Non ho bisogno di documentarmi per sapere quel che mi dice la metodologia della scienza: le qualità non si misurano, tutt’al più se ne può dare un giudizio tradotto in indicatori numerici. È quel che faccio quando assegno un voto: di certo, non misuro assolutamente nulla. Non misuro neppure se dico che il mare ha forza 8, figuriamoci se posso misurare la conoscenza, la vivacità, la competenza, l’intelligenza e tutto ciò che uno studente mette in opera in una prova d’esame. Sono concetti che non ammettono una definizione oggettiva e tantomeno possiedono un’unità di misura. E dove non c’è unità di misura non c’è misurazione.

Non è solo questione di divergenze di giudizi, è l’oggetto stesso che si ribella a una definizione univoca. Per esempio, si può fare una statistica e rilevare che la maggioranza ritiene che A sia più bello di B, il che ha qualche interesse; ma chi pensa che B è più bello di A non si troverà mai nella condizione insostenibile di chi pretenda che una formica è più alta di un elefante. La definizione di qualità di Allulli (ed è singolare cercare definizioni formali di un concetto che è al centro della riflessione filosofica da secoli) riconduce al concetto di utilità. Consiglio di leggere la celebre corrispondenza tra Henri Poincaré e Léon Walras in cui il primo spiega perché l’utilità non è misurabile (e il secondo concorda). Come non è vero che l’utilità è misurabile, non è vero che ogni giorno misuriamo qualità: ne diamo valutazioni soggettive, come quelle circa la mia serenità e pacatezza.

Ciò detto, è ragionevole perseguire valutazioni il più possibile concordi e accettate. Ma questo non si fa perseguendo la pretesa illusoria di costruire una metodica della valutazione sul modello delle scienze esatte. La valutazione è un processo culturale e sociale che non può essere astratto dai contenuti. Solo attraverso il confronto culturale e di merito si realizza un processo di valutazione con un elevato grado di accettazione e di fondatezza. Apprezzo il sistema delle ispezioni purché basato su giudizi di merito. Ritengo delicato l’uso dei test e assurdo l’uso di parametri come gli abbandoni che finiscono col premiare il lassismo.

Conosco il sistema Ofsted ma non ritengo una buona idea lodarlo indipendentemen-te dal fatto che gli studenti inglesi hanno livelli di preparazione disastrosi. Come ha osservato Cesare Segre, le valutazioni debbono essere fatte dai competenti. Aggiungo io, con un sistema di controlli incrociati che stimoli un processo complessivo di confronto.

Trovo preoccupante l’emergere di una corporazione di "valutatori" che manifesta una tendenza all’autoreferenzialità di cui è sintomo la reazione aspra quando qualcuno osa metterne in discussione la dottrina. È bene che anche i valutatori accettino di essere valutati. Non sono il solo a considerare con estrema perplessità la prospettiva di mettere la scuola in mano a chi ritiene che esista una scienza della misurazione delle qualità. Consiglio di leggere l’articolo Vite a punti ("Corriere della Sera" del 7 marzo) per rendersi conto di quanta insofferenza e degrado culturale stia creando l’ossessione numerologica.

(Avvenire, 8 Aprile 2010)