lunedì 6 settembre 2010

La lotteria dei test

A un politico che elogiava l’utilità dei test nei procedimenti di selezione chiesi: «Se lei dovesse scegliere un collaboratore di assoluta fiducia cosa preferirebbe? Selezionarlo mediante test, oppure mediante un colloquio, guardandolo negli occhi, studiando le sue reazioni mentre risponde alle domande?». Dopo una breve esitazione, la risposta fu: «Indubbiamente nel secondo modo». Ho posto domande analoghe in varie occasioni e la risposta è stata sempre la stessa, a meno che l’interlocutore non fosse uno specialista o un venditore di test.
E allora perché questo sistema si è diffuso così tanto? Forse perché il numero dei candidati in ogni ambito è elevato? Così sarebbe se il livello medio dei candidati fosse molto alto. Ma noi siamo a livelli in cui uno studente universitario dell’ultimo anno di matematica scrive «l’aspirale» invece che «la spirale» e, se glielo fai notare, risponde: «Embè, che problema c’è?». Basterebbe introdurre dei test di base elementarissimi, che verifichino le capacità minime sul piano grammaticale, linguistico, aritmetico e la consapevolezza del luogo e del tempo in cui si vive, per scremare almeno il 90% dei candidati. Dopodiché si potrebbe procedere con la valutazione del curriculum scolastico, con prove scritte e un colloquio. Se invece si pretende di giudicare l’idoneità a frequentare la facoltà di medicina chiedendo qual è il valore più probabile della corrente circolante in una batteria da 12 volt collegata a due resistenze in parallelo di 60 e 120 ohm e ad una di 40 ohm, escludendo dalla valutazione la carriera scolastica, sarebbe più serio procedere con un sorteggio.
Il motivo che spinge a selezionare mediante test non è pratico bensì teorico, diciamo pure ideologico: si tratta dell’idea secondo cui i test consentirebbero una valutazione “oggettiva”, indipendente dalla soggettività dell’esaminatore, e una misurazione esatta della qualità del candidato. Una serie di domande a risposta chiusa cui rispondere con una crocetta sulla casella giusta, un numero che risulta dalla somma delle risposte corrette che definisce in modo “esatto” e “oggettivo” la qualità del candidato, e il gioco è fatto. Si tratta di una grande illusione. Poiché il nostro paese è, come al solito, l’ultimo a recepire le “novità”, sarebbe bene sfruttare il vantaggio di ascoltare le critiche di chi, all’estero, ha già sperimentato il sistema delle cosiddette “valutazioni oggettive” e ne sta verificando i limiti.
Naturalmente, i più restii ad ammettere tali limiti sono i teorici e i praticanti delle “valutazioni oggettive”, alcuni dei quali vivono di questa attività. Difatti, è bene ricordare (o informare chi non lo sa) che la preparazione dei test non compete ai docenti, e neppure sempre a funzionari ministeriali. Essa è sempre più di frequente affidata a “ditte” esterne che si presentano – non si capisce bene con quali credenziali e senza essere sottoposte a verifica permanente – come “specialiste” della valutazione mediante test. Insomma, sempre più i test sono preparati da “specialisti” o “manager” della valutazione, il cui atteggiamento è unilaterale e incontrollato.
Come ha osservato un rapporto redatto dalla International Mathematical Union assieme ad altre prestigiose associazioni scientifiche internazionali, gli specialisti di valutazione, «essendo incapaci di misurare la qualità, sostituiscono la qualità con dei numeri che possono misurare», e ciò – prosegue il rapporto – non ha alcun serio fondamento. La valutazione classica consiste nel fare un esame e tradurre il giudizio dell’esaminatore in un voto, il quale è soltanto una rappresentazione di quel giudizio su una scala numerica. I valutatori “oggettivi” sostituiscono all’esame un test, che avrebbe il pregio di escludere gli umori “soggettivi” dell’esaminatore e di produrre un risultato numerico indipendente da questi umori e, come tale, indiscutibile. Ma non è difficile intendere che così il problema è soltanto spostato, anzi è stato nascosto sotto il tappeto: la soggettività è ancora ben presente, nella preparazione e nella scelta dei test. È la soggettività di chi ha compiuto tale operazione – funzionari, specialisti o ditte – e che, per giunta, resta anonimo e non risponde neanche per un centesimo di quanto è chiamata a rispondere una commissione di esame.
Tutto deriva dall’idea insensata e antiscientifica che si possano “misurare” le qualità. Per misurare occorre disporre di un’unità di misura universalmente accettata e quindi oggettiva. Per misurare la larghezza di questo giornale basta  un metro non truccato: il risultato sarà lo stesso, indipendentemente da chi faccia questa operazione senza imbrogli e con scrupolo. «Qual è l’unità di misura della qualità di un candidato?», chiesi una volta a un patito della valutazione oggettiva. Dopo una certa esitazione la risposta fu: «Il test». Una risposta insensata e antiscientifica, perché è come se pretendessi di misurare le lunghezze con un metro da me fabbricato con criteri personali, mentre altri operano con altri metri fabbricati con criteri diversi.
Il fine più devastante di queste teorie “oggettiviste” è di sottrarre ai protagonisti dell’istruzione – essenzialmente gli insegnanti – la funzione di giudicare, trasferendola ai “manager” della valutazione, che magari non sanno un acca della materia in oggetto ma avrebbero la “competenza” di fabbricare test, con l’ausilio di “esperti” scelti non si sa come. Ecco perché stiamo assistendo a un incredibile fenomeno: e cioè che sono i professori, i presidi di facoltà, i rettori, i chirurghi di fama a protestare, a dire che loro non saprebbero mai superare quei test e che si sta rischiando di scartare i migliori studenti. Protestano perché non c’entrano nulla: questa operazione passa sulle loro teste.
È un andazzo che conduce allo svilimento e alla distruzione del sistema dell’istruzione. Senza contare – e questa è l’osservazione più importante – che queste tecniche di valutazione mediante test sono state mutuate da quelle da tempo in uso nelle aziende, in particolare per la selezione del personale; dove però – lo riconoscono ormai anche molti autorevoli specialisti del settore – hanno rivelato la loro inefficacia. Figuriamoci se possono funzionare nell’ambito del sistema dell’istruzione.
(Il Giornale, 2 settembre 2010)

12 commenti:

mariapia lionello ha detto...

Egr. prof. Israel, concordo con la sua analisi. Mi occupo di orientamento universitario per il mio liceo, e spesso verifico la qualità dei test provando a farli. Aveva ragione G.B.Shaw: in una intervista alla BBC, forse degli anni Quaranta, spiegava agli studenti che per passare gli esami devono entrare nella testa degli esaminatori, e ipotizzare che tipo di domande un adulto, che ha studiato ed è stato giovane molti anni prima, potrebbe proporre. Infatti, spesso i test di ingresso presuppongono una cultura generale che, piuttosto che essere basata sulla conoscenza di argomenti scolastici ( le aborrite conoscenze, che dovrebbero invece essere patrimonio culturale comune..) spaziano dal nome del batterista dei Rolling Stones al fenomeno John Wayne - domande che chiaramente rivelano l' età degli esperti, ma che nulla provano rispetto alla cultura o agli interessi degli studenti. Purtroppo il colloquio individuale, sicuramente più funzionale a comprendere l'attitudine di un candidato a un certo tipo di studi, nell’ Italia delle raccomandazioni e non del merito produrrebbe una proliferazione di titoli trasmessi per discendenza perfino peggiore di quanto si veda allo stato attuale. Allora, un test elementare di pre-requisiti linguistici e matematici, eventuali debiti da saldare prima di poter dare esami all'università e poi un primo anno con accesso libero potrebbero essere una soluzione. Chi merita, chi alla fine del primo anno lo potrà dimostrare con il superamento degli esami, ha diritto a continuare. Personalmente, dopo aver frequentato il classico e avendo studiato solo tedesco per un biennio, mi sono iscritta a lingue e ho deciso di specializzarmi in inglese, lingua che a giugno del primo anno avevo già perfettamente recuperato aggiudicandomi trenta all'esame. Oggi ciò non sarebbe possibile, ma l'inglese è stata ed è la mia passione e sono felice che nessuno mi abbia precluso la possibilità di coltivarla fino a farne il mio ambito di lavoro.
Mariapia Lionello

junco ha detto...

Nell'opposizione tra “raccomandazione” e “merito”, il test, rispetto al colloquio individuale, dovrebbe essere più garantista, più “democratico”. Con i test i privilegi di casta non avrebbero spazio. Tutto diventa trasparente, tutto obbiettivo. Ma la trasparenza e l'obiettività non sono divinità, sono strumenti neutri. Anche il capo di una banda di delinquenti vuole un rendiconto dei suoi traffici all'insegna della trasparenza e dell'obiettività. Non lo si frega. Il problema dei test resta invece quello del criterio con cui vengono formulati: chi li formula, con quale autorevolezza, con quale storia, con quali conoscenze.
Un'attività didattica, un insegnamento, una formazione hanno una storia, si incarnano in un'azione educativa e formativa. Hanno dei soggetti che sono coinvolti in una trasmissione del sapere. Un test calato dall'alto è la negazione di questa realtà che è la vita che si svolge, quando c'è vita, in un'aula scolastica.
Il test, lo sanno tutti, richiede “scaltrezza”. Si può essere colti e fallire. Si può essere scaltri e riuscire. E a questa scaltrezza bisogna essere “educati”, “formati”.
Tanto è vero che, da qualche anno, nella mia città hanno aperto un liceo privato “di eccellenza”, con una retta altissima. Il mio dentista, preoccupato che il figlio possa avere difficoltà a superare i test d'ingresso per l'iscrizione alla Facoltà di medicina, a numero chiuso, lo ha tolto da un liceo classico statale e lo ha iscritto lì. In che consiste l'eccellenza? Li preparano, sin dal primo anno di liceo, a superare i test d'ingresso per le facoltà universitarie. Come? Facendo studiare prove regresse di test.
I privilegiati si organizzano: raccomandazioni o test, sempre di scaltrezza si tratta.

Maurizio ha detto...

Egr. Professor Israel,
vorrei collegare l’argomento in questione con l’argomento “errori matematici”, da lei precedentemente trattato.
All’indirizzo: http://www.accessoprogrammato.miur.it/compiti/CompitoOdontoiatria2005.pdf, compare la “Prova di ammissione al Corso di Laurea in Odontoiatria e Protesi dentaria, Anno accademico 2005/2006”. Si tratta di test di logica e cultura generale, test ripresi poi da libri per la preparazione alle prove di accesso alle università.
Nella “prova” in questione compare il seguente quesito.
I bugiardi sono ingiusti - i bugiardi sono uomini - dunque ...... sono ingiusti.
Si individui il CORRETTO completamento del sillogismo:
A. alcuni uomini
B. i bugiardi
C. tutti gli uomini
D. alcuni bugiardi
E. alcuni giusti

Viene indicata come soluzione corretta la A. Cominciamo con l’osservare che la risposta B è ovviamente corretta: anche un bambino può capire che da “i bugiardi sono ingiusti” si può dedurre che i bugiardi siano ingiusti. Banale ma corretto.
Poiché solo una delle risposte può essere esatta, uno studente che avesse fatto il suesposto semplice ragionamento avrebbe escluso le altre risposte, non solo non ottenendo alcun punto, ma anzi subendo una decurtazione del punteggio.
Il fatto è che affinché la risposta A sia esatta occorre assumere l’Assioma di Aristotele il quale afferma che tutti i termini coinvolti nelle proposizioni categoriche sono non vuoti. Ma allora ci sarebbero due risposte esatte.
È chiaro che non si tratta di un refuso (e, anche se lo fosse, la cosa sarebbe ugualmente grave).
Cordialmente
Maurizio Iurlo

Caroli ha detto...

Se consideriamo che i test fatti in quel modo sono da decenni utilizzati per conseguire la patente di guida, coi bei disastri in termini di vite umane perse che abbiamo conseguito, l'esempio l'avevamo già chiaro in casa. Ricordo un filmato di moltissimi anni fa, credo fosse nell'ambito di un quiz televisivo (in bianco-nero, questo lo ricordo bene), in cui un tale "commendatore" scambiava per autostoppisti alcuni operai addetti alla sicurezza che con cartelli tentavano di dissuadere gli automobilisti a proseguire. Questo perché il suddetto "commendatore" non sapeva leggere, pur avendo conseguito la patente: aveva avuto l'imbeccata per mettere la crocetta giusta nelle poche domande scritte dei quiz ministeriali. Il filmato si concludeva con l'ovvio incidente stradale, e con il "commendatore" all'ospedale. E vogliamo "misurare" i nostri futuri professionisti in quel modo?

Caroli ha detto...

Nota Bene: a beneficio degli elettro-incolti, due resistenze in parallelo, una da 60 ohm ed una da 120 ohm danno esattamente 40 ohm. Ma questo - credo - è ovvio per quasi tutte le persone qui convenute.

carlo ha detto...

Mi rallegro che il professor Israel abbia sollevato una questione che mi tormenta.

“Difatti, è bene ricordare (o informare chi non lo sa) che la preparazione dei test non compete ai docenti, e neppure sempre a funzionari ministeriali.”

Perché, almeno, non si assegna il compito di predisporre il test a chi insegna nella scuola e nell’università, lasciando poi ai funzionari ministeriali il compito di combinare variamente i quesiti nel loro assetto definitivo, adottando tutte le precauzioni del caso per evitare truffe (rincresce ammetterlo, ma occorre considerare in quale paese si vive)? Che cosa lo impedisce?

Inoltre, perché le prove selettive per accedere al TFA attribuiscono 30 punti al test a riposta multipla e soltanto 20 punti all’orale? Non sarebbe stata preferibile l’attribuzione di 30 punti a ciascuna delle tre prove (sia benedetta l’introduzione del secondo scritto non previsto dalle bozze!), dal momento che l’attribuzione di un punteggio potenzialmente illimitato, oltre che cospicuo, al servizio (mi astengo da valutazioni di merito che sarebbero aspramente polemiche) scardina la previsione di un dato punteggio complessivo? Oppure, in alternativa, l’inversione dell’attribuzione dei punteggi: 20 punti al test e 30 punti all’orale?

Caroli ha detto...

Quando ho scritto il test valutativo per Lamborghini, diversi anni fa, avevo alle spalle due anni di lavoro progettuale in esterno per conto di quella stessa ditta, per cui ero ben al corrente delle dinamiche interne, di quello che significava lavorare su un'automobile "capace" di 350km/h, con allestimenti adeguati ai 300.000€ spesi dal cliente, ecc. Insomma, sapevo che cosa chiedere perché sapevo che cosa loro avevano chiesto a me. Ma se questi personaggi non hanno mai visto ex cathedra degli studenti, mi spiegate che razza di test possono compilare? Chiederanno, che so, di rispondere a domande sulle specie di funghi a dei futuri ingegneri meccanici?
Se, come menzionavo nel mio intervento precedente, i test per il conseguimento della patente di guida hanno rivelato tutti i loro limiti, i limiti di questi test saranno quelli di avere una generazione di citrulli, non in grado: di amministrare un pollaio, di progettare un cavatappi: di curare un'unghia incarnita, oltre che di insegnare alcunché.

Carlo Scognamiglio ha detto...

Come mai il Gruppo che ha lavorato per la formazione dei nuovi insegnanti ha stabilito che l'accesso è regolato da test a risposta chiusa?

Giorgio Israel ha detto...

Non ho mai detto che a un livello di scrematura minimale i test siano inutili. Se le risposte ottenute a domande semplici sono del genere "bestiario matematico", mi pare ovvio che è inutile perdere tempo. Ma dopo il primo test, vengono la prova scritta e orale, si tiene conto dei titoli, ecc. Quindi non è affatto una lotteria di test.

Carlo Scognamiglio ha detto...

Veramente io leggo nella bozza cui viene associato il Suo nome, per la secondaria superiore: "60 punti per il test preliminare; 20 punti per la prova orale; 20 punti per titoli di studio, eventuali
pubblicazioni e certificazioni.". Non mi pare si parli di prova scritta, e il test non fa una scrematura iniziale, ma determina oltre la metà del punteggio d'ammissione, quindi direi che è prova assolutamente determinante, anche a fronte di un modesto colloquio orale. Trovo che Lei abbia ragione a dire che così si rischia "di scartare i migliori studenti", e soprattutto di scivere: "figuriamoci se possono funzionare nell'ambito del sistema dell'istruzione". Come concilia questa posizione con lo sproporzionato peso attribuito ai test nell'ammissione al percorso per diventare insegnanti?

Giorgio Israel ha detto...

Il test preliminare comporta l’attribuzione di un massimo di 30 punti, la prova scritta di un massimo di 30 punti e la prova orale di un massimo di 20 punti. Ulteriori punti possono essere attribuiti per titoli di studio, di servizio e pubblicazioni secondo le modalità indicate nel comma 13.
Questa è la versione definitiva. Altre non ne conosco.

Giorgio Israel ha detto...

Invece voglio dire chiaramente una cosa. Il nostro gruppo di lavoro ha fatto una proposta che difendo e non è sul punto precedente che trovo difetti. Ma la versione finale non è stata stesa da noi e io (noi) conserviamo piena libertà di pensiero. Vengo a sapere ora che in quest'ultima è stata cassata la possibilità di colmare le lacune nel TFA con esami singoli. Questa è una cosa inaccettabile che sconfesso completamente.