venerdì 25 giugno 2010

Pur di soddisfare i parametri che vada tutto in malora


 “The Wire” è una serie televisiva statunitense considerata da molti critici come la migliore di tutti i tempi. Essa racconta una serie di indagini di polizia nella città di Baltimora, e ne trae spunto per mettere a nudo i drammatici problemi di legalità, di ordine pubblico, di gestione politica, dell’istruzione e dell’informazione in una metropoli che vanta (si fa per dire) un numero di omicidi sette volte maggiore della media federale. Tra i tanti aspetti descritti dalla serie vi è un tema ricorrente: l’ossessione per le statistiche e per i numeri. Uno dei capi della polizia, il colonnello William Rawls, ha come massima preoccupazione di ottenere che la percentuale dei delitti irrisolti si mantenga sempre al disotto di una percentuale attorno al 40% dei delitti denunciati. I detective che non risolvono un numero minimo di casi all’anno entrano nel suo mirino. E fin qui niente da dire. Ma Rawls non sopporta che sobbarchino il dipartimento di polizia di nuovi casi mettendo a rischio la percentuale di “successo”. Meglio ignorare i nuovi cadaveri. Di qui la caduta in disgrazia del detective Jimmy McNulty che ha l’improntitudine di aprire un’inchiesta su un traffico di ragazze destinate alla prostituzione e morte per soffocamento in un container. Quando poi si scopre che una potente banda di narcotrafficanti ha ucciso un gran numero di rivali occultandone i cadaveri in edifici in disuso, la situazione si fa esplosiva e si cerca di soffocare la notizia. Alla fine il caso esplode e allora l’estrema trovata è di imputare il numero cadaveri alla statistica degli omicidi relativa alla gestione del sindaco precedente… Insomma, più che il successo nella lotta alla malavita, conta il successo nelle statistiche.
Fantasie narrative? Niente affatto. Qualche mese fa è scoppiato uno scandalo a New York perché un funzionario di polizia ha rivelato che le direttive dei capi erano che ogni poliziotto realizzasse ogni settimana almeno un arresto e 20 citazioni a comparire davanti al giudice, pena il trasferimento nelle zone peggiori della città. Insomma, in questo caso, si finiva con l’incentivare l’invenzione dei delitti. Il funzionario che ha rivelato il caso, ha menzionato l’episodio di sei amici che stavano passeggiando per strada: uno dei sei cade e si ferisce all’occhio. Chiamano il numero di emergenza e la polizia porta il ferito in ospedale arrestando gli altri cinque per rissa… Il giorno seguente vengono ovviamente liberati ma intanto le statistiche erano migliorate.
“The Wire” mostra anche come questa follìa abbia contagiato l’istruzione. Il poliziotto Roland “Prez” Pryzbylewski, dimesso dalla polizia per una serie di incidenti, si dedica a fare l’insegnante in una scuola a dir poco difficile, dove è un miracolo se gli studenti non si ammazzano tra di loro. Tuttavia, il professor “Prez” è talmente appassionato del suo nuovo mestiere che riesce pian piano a conquistarsi la fiducia e il rispetto della sua riottosa scolaresca. Si avvicina però la fine dell’anno e, con questa, le “valutazioni”. La direzione lo convoca e gli intima di andare al sodo: verrà valutata la scuola e sarai valutato tu e, se il risultato non è buono, perderai il posto; perciò ti conviene abbassare le pretese e addestrare gli studenti in funzione dei test che dovranno superare nelle prove di valutazione. È il famoso “teaching to the test”, l’insegnamento in funzione del test, in cui quel che conta non è che si conosca la materia, quanto di essere in grado di rispondere correttamente ai questionari contrassegnando le caselle giuste. “Prez” si ribella: «Sono venuto a scuola per insegnare», esplode. Ma c’è poco da fare, gli interessi della scuola vengono prima di tutto. Insegnare… Che ingenuità! Mi viene in mente quel membro di una commissione ministeriale che, durante una seduta, si levò in piedi per proclamare con voce stentorea: «La parola “insegnante” va cancellata dal vocabolario per sostituirla con quella di “facilitatore”»…
Tuttavia, se i paesi anglosassoni hanno la colpa di aver implementato quella colossale bestialità che è il “teaching to the test” – degno parente degli arresti effettuati in ossequio alle statistiche – va riconosciuto che dalle loro parti sta anche venendo un ripensamento. E se il ripensamento si riflette persino in una serie televisiva vorrà pur dire qualcosa. Non soltanto. Ci si rende conto che la politica di definire un successo in termini di obbiettivi statistici predeterminati, è catastrofica in ogni ambito. Per esempio, se dico che è possibile ottenere una buona valutazione di un articolo scientifico conseguendo un numero elevato di citazioni dell’articolo medesimo, è come se suggerissi in che modo costruire il risultato, anche in modo truffaldino. Non ci vuole molto buon senso per capire che quando si sostituisce a una valutazione qualitativa una valutazione quantitativa e si indica a priori quale sarà il parametro considerato e addirittura il valore da raggiungere per conseguire un “successo”, sarà grande la tentazione di porre in essere ogni mezzo pur di conseguire quel traguardo, indipendentemente dalla qualità dei risultati. Insomma, è un vero e proprio incitamento all’imbroglio. E non c’è bisogno di essere cittadini del paese degli spaghetti e dei mandolini: gli imbroglioni allignano ovunque. Accade così che le riviste scientifiche si stiano riempiendo di articoli di infima qualità, spesso semplicemente plagiati, che si citano a vicenda a raffica, o addirittura si autocitano, con risultati eccellenti dal punto di vista statistico. Nella comunità scientifica internazionale si levano sempre più voci a denunciare quello che viene definito «un attacco all’integrità scientifica».
Il meccanismo e gli esiti sono gli stessi in tutti i casi. La polizia arresta alla grande, le statistiche del crimine sono buone, ma la malavita impazza indisturbata. Gli studenti superano i test, ma non sanno nulla. Una rivista scientifica può avere un elevato “impact factor” e un articolo scientifico un elevato “citation index”, pur essendo entrambi di infima qualità. Insomma, i parametri godono mentre la qualità finisce sotto la suola delle scarpe.
Ma se il paese degli spaghetti e dei mandolini non ha l’esclusiva degli imbroglioni, di certo ha quella dei Santi Bailor, l’immortale “americano a Roma” di Alberto Sordi. I Santi Bailor dei giorni nostri non rinunciano a propinare l’ormai fradicia ricetta, con la solfa che «nei paesi anglosassoni si fa così». Anche qui viene in mente una riunione di esperti in cui, dopo aver udito per un paio d’ore dotte disquisizioni sul modello della scuola inglese, un partecipante chiese timidamente: «Ho capito, ma vorrei sapere cosa pensate della qualità della scuola inglese». La risposta fu un coro unanime: «Fa letteralmente schifo»… E la discussione riprese come se nulla fosse.
Infatti, l’importante è fare come Santi Bailor che andava avanti a base di “shana gana uana”, “uossa ganassa” e “polizia del Kansas City”. L’equivalente qui è riempirsi la bocca di “teaching to the test”, “coaching”, “tutoring”, “learning”, beninteso “on the job”, “best practices”, “repository”, “learning object”, e via di questo passo. Quantomeno, Santi Bailor, dopo essersi confezionato un piatto a base di pane, latte, yogurt, ketchup e mostarda ed averlo assaggiato, l’aveva messo sotto il tavolo a disposizione dei sorci.
(Il Giornale, 24 giugno 2010)

9 commenti:

Andrea Viceré ha detto...

Caro Professore,

credo che questa mania degli "indicatori" numerici della qualità sia il riflesso di un meccanismo più generale che favorisce il non rendersi responsabili nelle decisioni.
Facciamo un esempio dal mondo accademico: per valutare il lavoro di uno scienziato, dovrei considerare i suoi lavori scientifici e la loro rilevanza nel quadro internazionale delle ricerche in quel campo, alla luce delle mie conoscenze. Sembra ovvio, no? Ma così sarei portato ad esprimere un giudizio basato sul mio retroterra culturale e sui miei pregiudizi, e quindi sicuramente impugnabile come soggettivo!
Perché esporsi allora al rischio che la mia decisione sia considerata arbitraria? Specialmente considerando che un giorno qualcuno degli amici del candidato potrebbe giudicare me?
E' molto più facile e comodo non prendere alcuna posizione, ma appellarsi a qualche parametro apparentemente obiettivo, o comunque indipendente dal mio controllo, che debbo solo interpretare.
Quel che al singolo decisore, così agendo, sembra un guadagno a livello personale, in realtà è una perdita collettiva, non solo perché le decisioni che risultano sono troppo spesso insensate, ma anche perché la vita si complica inutilmente.
Farò un esempio relativo ad un collega, che non nominerò: tornato dagli Stati Uniti dopo un periodo di lavoro in una istituzione molto prestigiosa, fra le prime al mondo nel suo campo, e perciò nota anche all'uomo della strada, dopo i tre anni di attesa per essere confermato nel suo ruolo, ha presentato (come da legge) istanza perché il periodo trascorso all'estero gli fosse riconosciuto ai fini di carriera, trattandosi di un soggiorno presso una eminente istituzione universitaria.
Il burocrate con il quale si è trovato a parlare gli ha però obiettato "ma a me chi mi dice che l'università che ha emesso questo attestato sia riconosciuta dal Ministero come una eminente istituzione scientifica?"
L'unico modo di uscire dall'impasse è stato rivolgere una interrogazione al Ministero, che dopo sei mesi ha risposto, con tono quasi sorpreso, che ovviamente sì, il periodo poteva essere riconosciuto, stante la chiara fama dell'istituzione ospite.
In un mondo normale, il burocrate avrebbe preso una decisione basandosi sulla sua normale cultura; ma questo avrebbe significato assumersi una responsabilità, non sia mai!
C'è rimedio a questo andazzo? Ne dubito assai, perché il sistema nel quale viviamo sembra favorire, a tutti i livelli, chi non si assume mai responsabilità e non risponde mai delle proprie azioni o parole.

Cordialità

Andrea Viceré

Lucio ha detto...

Non sono mai (o forse quasi mai) intervenuto sulla questione se la valutazione, in vari campi ed a vari livelli, debba essere "docimologica" o di puro giudizio. E' chiaro come la pensa il prof. Israel, la valutazione basata su parametri puo' essere fuorviante e quella basata sul giudizio di una persona (o piu' persone) del mestiere dovrebbe essere la via giusta. Devo confessare di essere molto combattuto tra le due alternative, perche' vedo i pro ed i contro di entrambe. Senza entrare in disquisizioni prolisse, vorrei solo far notare un punto contro la "via del giudizio", che si ritrova molto spesso negli esami universitari e nelle verifiche/interrogazioni alle scuole. Il punto e' che, molto spesso, si tende a "straripare", cioe' a farsi influenzare, in detto giudizio, da elementi che non hanno nulla a che fare con la preparazione dello studente sull'argomento o la materia in questione. Alle volte (ma, direi, molte volte) entrano nel giudizio anche elementi legati alla personalita' od al carattere dello studente, e che dovrebbero rimaner fuori. Anni fa, citando un esempio un po' estremo, ma da quel che ho visto non così' inusuale, un collega (prof. ordinario) matematico mi disse, più' o meno testualmente:"Vuoi che in un concorso per ricercatore, quando ci fosse una approssimativa uguaglianza di titoli e credenziali, non possa preferire, alla fine, un certo candidato perché' e' un appassionato dell'opera, come me?" Ripeto, e' un esempio estremo, ma almeno in parte rappresentativo di cose che succedono nella realtà' dei concorsi, degli esami, etc. Allora, non e' meglio la via docimologica? Alla fine, credo che una qualche combinazione dei due criteri sia la cosa piu' corretta.

Cordialmente,
Lucio Demeio

Caroli ha detto...

Ma allora le modalità di azione di cui al post, professore, sono le stesse con cui il KGB riempiva il GuLag! Perché il piano quinquennale c'era anche per gli arresti degli "organi" stalinisti. La cosa è continuata anche dopo. In altre parole, appare che oggi gli Stati Uniti stiano scivolando in una pericolosa deriva "sovietica". O forse, un po' "sovietici" lo sono sempre stati? Senza comunismo, beninteso, ma la logica di potenza c'è, ed ha bisogno di "nemici" e di "statistiche" che documentino in maniera "scientifica" la forza di cui il potere è capace. Quanto marxismo c'è dietro questo atteggiamento?
Sul discorso valutativo non entro: ho insegnato troppo poco per impegnarmi in esso.

dia ha detto...

salve a tutti,
The Wire è una serie fantastica. Sono alla quinta stagione, l'ultima purtroppo.

La descrizione del professor Israel è perfetta. Mentre polizia e insegnanti lavorano per 'costruire' le statistiche giuste, intorno è l'inferno. Povero Prez. (Ed Burns, uno dei due autori, è stato prima detective poi insegnante, ne sa qualcosa)

Mi è venuto in mente come John Holt descriveva la logica del teach-to-test (in How Children Fail). Incollo qui di seguito:

Teachers are forced by the system to teach to the test. To prove that their teaching has been effective they must show that children have understood what they have been taught, therefore they must succeed at the tests. So much effort is put in to preparing for the test, the result being that children's results in the test does not actually represent the true level of their understanding. Consequently the teacher proceeds on the basis that they know or understand things that they don't, leaving most pupils further and further behind in their understanding of the basic concepts (...)

diana

dia ha detto...

p.s.
Quinta Stagione, Ep.5, min.8'36"

Bambino ad amico:

"La signorina Trainor dice che se i punteggi non salgono prima delle elezioni, tutti gli insegnanti saranno licenziati."

Qualche puntata prima una di quelle insegnanti spiega a Prez come si fanno salire i punteggi...
ciao,
d

coccinella ha detto...

“Insegnare… Che ingenuità!”

Statistiche e numeri…
sono diventati un’ossessione anche nella scuola, giudicata proprio dalle statistiche e dai numeri. Sono entrata nell’insegnamento ormai molti anni fa e… di discorsi ne ho sentiti tanti. Quando si è cominciato a parlare di prove oggettive, ho creduto che la mia sola personalità di insegnante non bastasse a capire quello che i miei alunni realmente imparavano e ho elaborato diverse volte anch’io test e questionari, per esempio nelle schede di lettura di film o in verifiche periodiche di storia, alternate alle interrogazioni. Oggi fatico ad accettare che per verificare come e quanto l’alunno abbia imparato (è lecito dire "imparato"?), debba scervellarmi a predisporre ancora test e questionari, ma soprattutto a trovare una giusta scala di valutazione corrispondente: mi illudevo che sarei stata finalmente capace di valutare direttamente. Queste prove, tuttavia, mi sono state utili per rendermi conto di quanto gli alunni capiscano il linguaggio specifico, perché particolarmente in questo tipo di verifiche, si deve interpretare bene la domanda (che non deve essere ambigua), dato che non c’è possibilità di chiarimenti. Spero, peraltro, che le prove nazionali agli esami di Stato non portino al teaching to the test. A proposito di parole inglesi nella nostra didattica, ho imparato con fatica cooperative learning, che credo di avere applicato tante volte; mi ha fatto impazzire il learning object e tanto altro ancora, fino al punto di essere contenta di conoscere poco la lingua inglese… a scanso di equivoci! Il binomio prove soggettive o prove oggettive sta forse al seguente: insegnante o facilitatore? Per fortuna, noi “operatori della scuola, facilitatori nel processo di apprendimento” ci ostiniamo a fare soprattutto… gli insegnanti!

Songwriter ha detto...

Caro professore, le scrivo non per commentare il suo (al solito!) interessantissimo, intelligente e caustico post, ma solo per esprimerle la mia stima e il mio autentico affetto per quello che lei significa per me come persona.
Ho da poco terminato la lettura di "Per curiosità", l'autobiografia di Cesare Segre, filologo e intellettuale che ha segnato profondamente la mia formazione culturale, ma, anche e soprattutto, umana. Sono un classicista entusiasta, ma affetto da nostalgico rimpianto e frustrazione per la carenza delle mie conoscenze matematiche, cui cerco (vanamente!) di supplire con disordinate e appassionate letture.
D'accordo, dirà lei, ma che c'entra?
C'entra, c'entra, caro professore.
Da quand'ero ragazzo, ho sempre coltivato un interesse "incomprensibile" per gli ebrei e la loro cultura: più tardi, scavando scavando, ho scoperto che la mia bisnonna (una Feldman, che in famiglia accreditavano genericamente come "romena") era in realtà un'ebrea, residente in Romania, e che la maggior parte della sua comunità e dei suoi familiari furono imbarcati sui treni diretti ad Auschwitz.
Dunque, se sono qui a scriverle, lo devo alla fortuita e beffarda benevolenza del caso e, al pensiero, mi manca il respiro.

Dunque, grazie, caro professore, per la sua intelligenza, la sua mai gratuita vis polemica e la sua lucidità.
La storia, checchè ne pensassero gli antichi, purtroppo non ha mai insegnato nulla a nessuno, ma ciò non ci esime dalla nostra responsabilità: bisogna ricordare e ribadire, a costo di risultare pedissequi, che non tutto è ovvio e scontato, che non tutto è opinabile e opzionale, che la libertà ha un costo che bisogna, sempre e consapevolmente, pagare.

Le auguro ogni bene.

A.

Songwriter ha detto...

Caro professore,
le scrivo non per commentare il suo (al solito!) interessantissimo, intelligente e caustico post, ma solo per esprimerle la mia stima e il mio autentico affetto per quello che lei significa per me come persona.
Ho da poco terminato la lettura di "Per curiosità", l'autobiografia di Cesare Segre, filologo e intellettuale che ha segnato profondamente la mia formazione culturale, ma, anche e soprattutto, umana. Sono un classicista entusiasta, ma affetto da nostalgico rimpianto e frustrazione per la carenza delle mie conoscenze matematiche, cui cerco (vanamente!) di supplire con disordinate e appassionate letture.
D'accordo, dirà lei, ma che c'entra?
C'entra, c'entra, caro professore.
Da quand'ero ragazzo, ho sempre coltivato un interesse "incomprensibile" per gli ebrei e la loro cultura: più tardi, scavando scavando, ho scoperto che la mia bisnonna (una Feldman, che in famiglia accreditavano genericamente come "romena") era in realtà un'ebrea, residente in Romania, e che la maggior parte della sua comunità e dei suoi familiari furono imbarcati sui treni diretti ad Auschwitz.
Dunque, se sono qui a scriverle, lo devo alla fortuita e beffarda benevolenza del caso e, al pensiero, mi manca il respiro.

Dunque, grazie, caro professore, per la sua intelligenza, la sua mai gratuita vis polemica e la sua lucidità.
La storia, checchè ne pensassero gli antichi, purtroppo non ha mai insegnato nulla a nessuno, ma ciò non ci esime dalla nostra responsabilità: bisogna ricordare e ribadire, a costo di risultare pedissequi, che non tutto è ovvio e scontato, che non tutto è opinabile e opzionale, che la libertà ha un costo che bisogna, sempre e consapevolmente, pagare.

Le auguro ogni bene.

A.

coccinella ha detto...

A proposito di valutazione:
pagelle e certificati delle competenze.

Terminati gli esami di Stato di terza media, nel riposo che segue tornano alla mente i volti dei ragazzi che sono usciti, le prove nazionali, le correzioni dei compiti, alcuni orali un po’ “così” e… i certificati delle competenze!
Consegnato il documento di valutazione, pubblicati i “quadri” con i risultati degli esami, riaffiorano altri voti e altre corrispondenze, quelli relativi alle “competenze”. Che differenza c’è tra i voti delle schede e quelli della certificazione delle competenze?  Nessuna, se gli insegnanti si sono limitati a ricopiare la scheda. Ve ne è, se hanno considerato propriamente le competenze, sempre che di queste sia chiaro il concetto.
Non giurerei su una reale distinzione tra i voti della scheda e quelli della certificazione ed allora: non è meglio togliere il doppione? 

Coccinella.