La qualità si può misurare?
«Siamo di fronte a una cultura dei numeri in cui istituzioni e individui credono che si possano conseguire decisioni eque mediante la valutazione algoritmica di alcuni dati statistici .... incapaci di misurare le qualità i decision-makers sostituiscono la qualità con i numeri che essi possono misurare» (Dal documento "Citation Statistics»).
Riporto un confronto pubblicato su Avvenire una decina di giorni fa sul tema della misurazione delle qualità e dell'ossessione numerologica.
Riporto un confronto pubblicato su Avvenire una decina di giorni fa sul tema della misurazione delle qualità e dell'ossessione numerologica.
Gli specialisti della misurazione delle qualità reagiscono in modo irritato a quello che sentono come una messa in discussione del loro mestiere.
Ma non è conveniente nascondersi dietro un dito.
La misurazione delle qualità fa acqua da tutte le parti e mette in discussione i procedimenti cosiddetti "oggettivi" nella valutazione: è un problema molto attuale nel campo dei sistemi dell'istruzione e della ricerca scientifica.
Frattanto, le massime autorità in tema di numeri proscrivono sempre più apertamente e radicalmente l'uso di metodi numerici nella valutazione della ricerca.
Poco più di un anno fa istituzioni prestigiose come la International Mathematical Union, l'International Council of Industrial and Applied Mathematics, e l'Institute of Mathematical Statistics hanno prodotto un documento Citation Statistics che demolisce teoricamente i metodi bibliometrici e, in particolare il citation index, concludendo con un'affermazione molto netta: «Numbers are not inherently superior to sound judgements».
È seguita una presa di posizione di tutte le più note e prestigiose riviste di storia e filosofia della scienza del mondo, Journal under Threat , che rigetta il metodo di valutazione numerica ERIH e preferisce rinunciare a tutti i vantaggi (finanziamenti) derivanti dall'essere valutati in questo modo.
Infine di recente è intervenuto un'altra personalità di prestigio, il Presidente di SIAM, Society for Industrial and Applied Mathematics, Douglas N. Arnold. In un durissimo articolo, Integrity under attack: The State of Scholarly Publishing, in cui denuncia il modo scandaloso con cui molte riviste e autori usano abilmente i metodi di valutazione quantitativa per trarne vantaggi a scapito della serietà della ricerca, chiede esplicitamente la soppressione dell'uso di metodi bibliometrici per la valutazione.
Sarebbe il caso di prendere atto di questi sviluppi.
Per ora riguardano la ricerca scientifica e, di conseguenza, ovviamente la valutazione del sistema universitario.
Ma è bene guardare in faccia la realtà. La problematica è unitaria. Le implicazioni sui metodi di valutazione numerica dei sistemi scolastici sono evidenti.
Quanto all'idea generale che si possono "misurare" - non tanto attribuire generiche stime numeriche, come i voti a scuola, ma "misurare" in modo preciso e oggettivo - le qualità, è un modo per buttare al cestino le acquisizioni di qualche secolo di metodologia della scienza in nome di considerazioni generiche ed è espressione di una certa fatuità culturale e teorica dilagante.
======================================
Perché sì
Allulli:
Con la sua consueta serenità e pacatezza Giorgio Israel, in un articolo pubblicato sulle colonne di questo giornale, ha dato del ciarlatano a chi ha il coraggio di parlare di "misurazione della qualità"; se, invece di insultare, si documentasse su ciò di cui parla, scoprirebbe che la qualità non solo è misurabile, ma è di fatto misurata tutti i giorni. Innanzitutto che cos’è la qualità? Le definizioni che ne vengono date convergono sul principio che la qualità è il grado in cui un processo od un prodotto od un servizio od una prestazione soddisfa le attese dell’utente/cliente/consumatore (che a sua volta può essere singolo o collettivo).
Tutti noi misuriamo ogni giorno la qualità di ciò con cui veniamo a contatto: una macchina, una pietanza, un servizio pubblico; tuttavia le nostre attese rispetto al prodotto/servizio spesso sono diverse, in quanto ognuno matura aspettative diverse e molto personali. A parità di prestazione il giudizio che emerge dai diversi "giudici" può essere dunque molto diverso. Questo non significa che la qualità non si può misurare, ma solo che il giudizio che viene attribuito è frutto di una elevata soggettività.
Che cosa fa Israel quando assegna i voti ai suoi studenti all’università: non esprime forse una misura quantitativa di una prestazione qualitativa? È tutto il sistema scolastico a basarsi su giudizi numerici di prestazioni qualitative. Il problema dunque non sta in questo; sta piuttosto nel fatto che la prestazione viene misurata in modo del tutto soggettivo e senza rendere chiari, espliciti e trasparenti i criteri di giudizio. Su quale base si assegna un voto ad una interrogazione o ad un compito scritto? Sulla base della conoscenza della materia, della vivacità espositiva, della logica argomentativa, della correttezza grammaticale, sintattica e lessicale della esposizione?
Probabilmente la maggior parte dei docenti usa tutti questi criteri, ma sicuramente ognuno di loro li "pesa" diversamente, come sa chiunque abbia reminiscenze di scuola. Su quale base si assegna 25 o 27 in un esame universitario? Anche in questo caso i criteri di giudizio divergono profondamente, al punto che in alcune facoltà si possono trovare medie altissime, mentre in altre i voti sono molto più bassi; lo stesso fenomeno accade con i voti scolastici.
E su quale base si giudica una scuola? Lo sa Israel che gli ispettori inglesi dell’Ofsted, che lui cita ad esempio, prima di entrare in una scuola analizzano tutti gli indicatori sul funzionamento della scuola, sui risultati dei test, sugli abbandoni, in modo da disporre di punti oggettivi di riferimento per il loro giudizio? E lo sa che i giudizi degli stessi ispettori vengono formulati sulla base di criteri molto precisi, e non solo di un generico apprezzamento della "qualità"? Insomma la qualità viene misurata tutti i giorni. Ecco allora la necessità di confrontarsi su come "misurare la qualità". Non per rendere del tutto oggettivo il processo di valutazione, perché non lo sarà mai. Però per renderlo almeno un po’ meno casuale ed arbitrario di adesso.
Perché no
Israel:
Si rassegni Giorgio Allulli. Non ho bisogno di documentarmi per sapere quel che mi dice la metodologia della scienza: le qualità non si misurano, tutt’al più se ne può dare un giudizio tradotto in indicatori numerici. È quel che faccio quando assegno un voto: di certo, non misuro assolutamente nulla. Non misuro neppure se dico che il mare ha forza 8, figuriamoci se posso misurare la conoscenza, la vivacità, la competenza, l’intelligenza e tutto ciò che uno studente mette in opera in una prova d’esame. Sono concetti che non ammettono una definizione oggettiva e tantomeno possiedono un’unità di misura. E dove non c’è unità di misura non c’è misurazione.
Non è solo questione di divergenze di giudizi, è l’oggetto stesso che si ribella a una definizione univoca. Per esempio, si può fare una statistica e rilevare che la maggioranza ritiene che A sia più bello di B, il che ha qualche interesse; ma chi pensa che B è più bello di A non si troverà mai nella condizione insostenibile di chi pretenda che una formica è più alta di un elefante. La definizione di qualità di Allulli (ed è singolare cercare definizioni formali di un concetto che è al centro della riflessione filosofica da secoli) riconduce al concetto di utilità. Consiglio di leggere la celebre corrispondenza tra Henri Poincaré e Léon Walras in cui il primo spiega perché l’utilità non è misurabile (e il secondo concorda). Come non è vero che l’utilità è misurabile, non è vero che ogni giorno misuriamo qualità: ne diamo valutazioni soggettive, come quelle circa la mia serenità e pacatezza.
Ciò detto, è ragionevole perseguire valutazioni il più possibile concordi e accettate. Ma questo non si fa perseguendo la pretesa illusoria di costruire una metodica della valutazione sul modello delle scienze esatte. La valutazione è un processo culturale e sociale che non può essere astratto dai contenuti. Solo attraverso il confronto culturale e di merito si realizza un processo di valutazione con un elevato grado di accettazione e di fondatezza. Apprezzo il sistema delle ispezioni purché basato su giudizi di merito. Ritengo delicato l’uso dei test e assurdo l’uso di parametri come gli abbandoni che finiscono col premiare il lassismo.
Conosco il sistema Ofsted ma non ritengo una buona idea lodarlo indipendentemen-te dal fatto che gli studenti inglesi hanno livelli di preparazione disastrosi. Come ha osservato Cesare Segre, le valutazioni debbono essere fatte dai competenti. Aggiungo io, con un sistema di controlli incrociati che stimoli un processo complessivo di confronto.
Trovo preoccupante l’emergere di una corporazione di "valutatori" che manifesta una tendenza all’autoreferenzialità di cui è sintomo la reazione aspra quando qualcuno osa metterne in discussione la dottrina. È bene che anche i valutatori accettino di essere valutati. Non sono il solo a considerare con estrema perplessità la prospettiva di mettere la scuola in mano a chi ritiene che esista una scienza della misurazione delle qualità. Consiglio di leggere l’articolo Vite a punti ("Corriere della Sera" del 7 marzo) per rendersi conto di quanta insofferenza e degrado culturale stia creando l’ossessione numerologica.
(Avvenire, 8 Aprile 2010)
8 commenti:
In effetti l'articolo "Vite a punti" http://www.metaforum.it/showthread.php/15201-Vite-a-punti è un piccolo tesoro di buon senso. Fa molto piacere constatare che qualcono, oltre ovviamente il prof. Israel, si da da fare per ricostruire un po' di razionalità.
L'affermazione centrale dell'articolo, tratta dal libro di Paolo Mastrocole e' che la mania di ridurre la valutazione ad una misurazione quantitativa nasce:"Dall'idea, di origine strutturalista, che ci dev'essere una misurazione oggettiva di tutto. Come se non ci rassegnassimo al fatto che non ci sono criteri scientifici per definire ogni campo del reale".
E' una ovvia verità sicuramente nota in ambito aziendale (che è quello che conosco), dove dalla valutazione del personale dipende la selezione dei livelli manageriali, non la modalità di "stampa" di quei pezzi di carta che sono i diplomi.
Non ho mai visto una azenda che, per affidare ruoli di responsabilità, utilizzi il Q.I o qualsivoglia risultato di test. E' vero che, in genere, sono assegnati dei punteggi, ma sfido chiuque a inventare un sistema di valutazione oggettiva per definire la "leadership" o la "capacità di valutare le criticità di un progetto ed individuare soluzioni adeguate a risolverle".
In realtà è una discussione che dovrebbe risolversi principalmente nell'ambito di ciò che appartiene al "senso comune" ed alle alle conclusioni cui dovrebbe guidare l'esperienza di vita "vissuta".
Purtroppo una pletora di "scienziati" cerca di rimbambirci con l'idea che la "vita è un insieme di reazioni chimiche" e che sentimenti, pulsioni, motivazioni sono riducibili a relazione di causa effetto di componenti fisiche presenti nel nostro organismo.
Il penoso risultato è che la mia cara colf con la licenza elementare ne sa di più sull'argomento di tanti professoroni.
A giudicare dl suo "perché si" Giorgio Allulli considera la scuola un tubificio o una fabbrica di panettoni, o qualcosa di simile. Senza nulla togliere ai dirigenti e alle maestranze delle industrie e della loro capacità di produrre merci di eccellente qualità, la scuola e le industrie sono due mondi profondamente diversi.
A me sembra che l'intervento di Allulli sia una buona dimostrazione di un fenomeno diffuso: la distorsione delle parole per piegarle ai propri fini.
Lì, per esempio, si cerca di usare "misura" come se fosse sinonimo di "valutazione" - il che in fin dei conti vorrebbe dire che "misura" e "valore" sono sinonimi epperciò ha valore solo ciò che si misura, come richiama un altro commento.
Come copy editor, so che alcuni ambiti scientifici hanno un proprio linguaggio, in cui le parole sono distorte a questo modo - accade per esempio nell'ibrido "cultura animale".
Quello che ancora non ho capito è se le persone se ne rendono conto (vale a dire, lo fanno volutamente, c'è un progetto dietro) oppure no.
Dipende da che qualità. Quella del prodotto industriale sì, è ovvio. Quella umana (e l'insegnamento vi ricade) naturalmente no.
Pascal parlava della differenza tra esprit geometrique ed esprit de finesse. Non tutto può essere sottoposto all'esprit geometrique.
AS
A.A.A. A misuratori di qualità offresi Kant, Critica del giudizio, usato, ma in buone condizioni, prezzo stracciato. :-)
http://moraliaontheweb.com/2010/04/23/la-qualita-della-ricerca-si-puo-misurare/
Molti dei suoi commenti sono ragionevoli e di buon senso. Ma mi limito a tre osservazioni:
1) se non ha capito bene gli argomenti contro la bibliometria provi a leggersi e studiare a fondo il documento Citation Index, per poter commentare a ragion veduta, invece di affidarsi a voci un po' malevole secondo cui i matematici lo farebbero per ragioni di difesa corporativa. Anche gli statistici si trovano nella stessa situazione? Eppure il documento è firmato dalle istituzioni internazionali di statistica.
2) La questione della misurazione delle qualità, come bene dice, ha un sottofondo filosofico che Allulli tratta in modo superficiale. Trovo scandaloso che certe questioni dietro cui ci sono secoli di riflessioni vengano liquidate a livello di docimologia spicciola. Non sarebbe il caso di studiare a fondo la corrispondenza Walras-Poincaré sulla misurabilità dell'utilità, prima di chiacchierare (non mi riferisco a lei ovviamente).
3) Invece a lei vorrei dire: si legga attentamente il terzo documento, ovvero la denuncia del Presidente di SIAM. Essa mostra, esempi alla mano, come la bibliometria sia FONTE DI CORRUZIONE, uno scudo con cui persone astute possono mascherare la loro nullità scientifica facendola passare addirittura per merito. Perciò - mi lasci dire - quel che resta del ragionamento di Allulli e che lei accetta è sballato. Non è vero che è meglio la bibliometria, ovvero i parametri numerici, che il nepotismo e la corruzione; perché questi sono FONTE e SCUDO di nepotismo e di corruzione. Potrei farle molti altri esempi inerenti alla valutazione scolastica, universitaria e della ricerca (Prin). E poi, perché mai dovremmo essere stretti in questa alternativa: disonestà o metodi numerici fasulli? Non esistono anche persone oneste a questo mondo? Non sarà - come penso - che l'ossessione per questi metodi nasconde una cosa molto brutta: una totale sfiducia nelle persone?
Posta un commento