domenica 12 dicembre 2010

Il sistema dell'istruzione, le classifiche inattendibili e i test tossici



Secondo le ultime analisi Ocse-Pisa le posizioni della scuola italiana nelle classifiche internazionali sarebbero migliorate. Le considerazioni che vorrei sviluppare si riassumono così: questi dati, come tutte le analisi basate su test, hanno scarsa attendibilità oggettiva e quindi vanno presi con le pinze; inoltre, anche a prenderli per buoni, sono il risultato di una ripresa di rigore disciplinare in direzione opposta agli intenti di chi vorrebbe ridurre la scuola italiana a un sistema aziendale basato sui test e che, con sfrontatezza, tenta in questi giorni di intestarsi questo miglioramento.
Su queste pagine ci siamo già occupati della scarsa attendibilità di test e graduatorie e della necessità di valutare a fondo i sistemi dell’istruzione sulla base dei contenuti dell’insegnamento. Ciò vale anche per l’università e per il sistema della ricerca. Inizierò di qui con qualche esempio.
Di recente, su “Sette”, due giovani italiani che lavorano negli USA e sono diventati personaggi importanti nella Microsoft hanno lamentato l’inesistenza in Italia del sistema meritocratico americano aggiungendo però: «l’Italia vanta un livello di istruzione altissimo, lontano anni luce da quello che si trova qui… a volte durante certe conversazioni si finisce con l’essere imbarazzati per loro». Nel dibattito convulso e fazioso di questi giorni è un luogo comune parlare dell’università italiana come se fosse la sentina del mondo. Al contrario, si esaltano gli USA come se fossero l’Eldorado, come se in quel paese non esistessero le cordate accademiche, non esistessero restrizioni di bilancio, ignorando che grandi università americane hanno persino tagliato gli stipendi. Chi si straccia le vesti sul precariato e aspira al posto fisso non dice che nelle università statunitensi puoi essere cacciato su due piedi anche dopo anni di insegnamento.
Le cattive posizioni delle università italiane nelle classifiche internazionali, dipendono da una quantità di parametri che hanno poco a che fare con la ricerca e la didattica. Basta cambiarli di poco per modificare le graduatorie in modo sorprendente. Non a caso le università migliori sono quelle dei paesi che dettano la scelta dei parametri. Qualche esempio. Nel QS World University Rankings, la Sapienza di Roma è passata in un solo anno dalla posizione 205 alla 190: è bastato aver cura di alcuni aspetti organizzativi, come l’efficienza nella registrazione degli esami. Ma sebbene in posizione modesta, la Sapienza precede università prestigiose come la Technische Universität di Berlino e la Sorbonne parigina (al posto 229). Se poi si guarda a certi settori come le scienze fisico-matematiche e naturali, la Sapienza supera la celebre École Polytechnique di Parigi, la University of California di San Diego, la Humboldt Universität o il Technion di Israele. Mentre è assurdo che l’università di Parigi 6 – uno dei centri migliori al mondo per le scienze – non compaia da nessuna parte. Per altro verso, l’università Bocconi figura al penultimo posto nella graduatoria delle università in scienze e sociali e management, e l’università confindustriale Luiss è introvabile. Forse questo ha infastidito qualcuno. Così il network Vision di laureati italiani con esperienze estere ha redatto una classifica italiana scegliendo parametri diversi e alquanto bizzarri: numero di studenti stranieri sul totale degli iscritti, numero di fuori sede, numero di citazioni non tratte dai consueti database bensì da Google Scholar (considerato, chissà perché, più “semplice” e “trasparente”). Risultato del 2009: i primi tre posti vanno al Politecnico di Milano, all’Università Bocconi e al Politecnico di Torino, seguiti (manco a dirlo, visto quel parametro) dalla Università per Stranieri di Perugia… Un ulteriore aggiustamento ha portato, nel 2010, la Bocconi al primo posto, la Luiss dal decimo al sesto, declassando la Statale di Milano dal quinto al tredicesimo posto…  Mentre nella classifica QS la Sapienza surclassa il Politecnico di Milano (295-esimo) e quello di Torino (451-esimo) nella classifica Vision scende al posto 22. Quale attendibilità ha questa sarabanda di cifre?
La stessa situazione si presenta per la scuola. Leggiamo sui giornali tante statistiche elaborate a partire da test. La serietà di queste analisi non è in discussione. Ma se i dati su cui sono state sviluppate non fossero attendibili esse si ridurrebbero a un semplice esercizio. Insomma, quel che conta è il contenuto dei test proposti. Di questi non si parla mai, non si sa chi li ha preparati né con quale competenza. Ne ho esaminati alcuni e mi si sono rizzati i capelli. Per non dir altro, erano disomogenei in termini di difficoltà. Quali risultati “oggettivi” possono mai ottenersi su simili basi?
Quanto alle statistiche internazionali mi limito a un esempio. Nei commenti si da per scontato che la scuola finlandese sia una delle migliori del mondo. Ma non è tutto oro quel che riluce. Studi recenti hanno messo in discussione quella immagine. Per quanto riguarda la matematica, è chiaro che la Finlandia primeggia in quanto i test Pisa stimano i successi nella matematica pratica ma – come è stato ammesso da autorevoli personalità finlandesi – se valutassero la capacità di intendere i concetti matematici, la Finlandia finirebbe agli ultimi posti. Si insegna una matematica definita da uno specialista come un “soggetto educativo” privo di relazioni con la matematica propriamente detta. Il simbolo “=” è stato soppresso e sostituito con V, che sta per Vastaus, ovvero “risposta”. Ma identificare “=” con “risposta” significa che uno studente non sa più cosa sia un’equazione. Un recente articolo spiega che, se entrate in una macelleria finlandese e chiedete ¾ di chilo di carne, non sarete capiti: dovete dire 750 grammi, perché i numeri sono insegnati soltanto in forma intera o decimale, in quanto digitabile sul calcolatore. Ciò vuol dire che non si sa più cosa sia una frazione e questo è un autentico disastro concettuale.
D’altra parte, nei sondaggi Pisa trionfano anche paesi come la Cina, la Corea o Singapore le cui scuole sono diversissime: ipertradizionaliste, improntate a disciplina, rigore e amore per la conoscenza, in cui l’ossessione per i test è sconosciuta e i bambini usano i pallottolieri, altro che “nativi digitali”. Come mai? Per il semplice motivo che la capacità di risolvere i test “pratici” Ocse-Pisa è un sottoprodotto secondario di una preparazione completa sul piano concettuale e in cui il calcolo mentale la fa da padrone. Uno studente cinese sa risolvere quei problemini ma sa e sa fare anche molto di più. È forse un caso che ormai più della metà dei dottori di ricerca negli USA siano di provenienza asiatica?
Negli ultimi anni in Italia è stata fatta un’iniezione di rigore in un senso più “cinese” che “finlandese”: questa è l’unica spiegazione possibile del piccolo miglioramento che i sondaggi attestano. Ma è indubbio che se, dopo qualche decennio di disastri realizzati dal pedagogismo costruttivista “progressista” – e che non a caso si è stracciato le vesti per le politiche seguite nell’ultimo biennio – esso dovesse cercare una rivincita ripresentandosi sulla scena nelle vesti della tecnocrazia aziendalista, cascheremmo dalla padella nella brace. Difatti, si finirebbe per non parlare più nemmeno alla lontana di conoscenza. L’obbiettivo sarebbe di trasformare la scuola in una macchina volta al successo nei test e in cui l’unica attività sarebbe addestrarsi a superarli. È il miserando “teaching to the test” che ormai è messo in discussione nei paesi in cui è stato implementato. Ma, si sa, noi in Italia raccattiamo le “innovazioni” quando ormai altrove iniziano ad essere accantonate come cibi guasti.
(Il Giornale, 11 dicembre 2010)

18 commenti:

epsilondelta ha detto...

Mi trovo pienamente d'accordo sulla scarsa attendibilità oggettiva dei test e sul pericolo che la scuola diventi puro e semplice addestramento per il superamento di tali test. E' inoltre molto probabile che il miglioramento sia dovuto anche ad un maggior rigore nell'insegnamento. Ma, a mio avviso, la vera svolta è molto lontana dal realizzarsi, e questo piccolo miglioramento non deve far inorgoglire nessuno. Purtroppo sono molto pessimista sul prossimo futuro, sia a livello personale (uscirò dal precariato probabilmente con l'età pensionabile, ma senza pensione) che per quanto riguarda i miei figli: ritengo che la scuola, anche dopo questa cosiddetta riforma e con il nuovo sistema di reclutamento (che deve ancora essere definito, qualunque esso sia) non sarà in grado di fornire la vera cultura che non può essere misurata con i test e forse in nessun modo. In particolare, sono alquanto demoralizzata, perchè, le ore di matematica nei licei non scientifici in realtà sono diminuite rispetto alle ore che ormai erano state introdotte con le sperimentazioni, spazzate via in un sol colpo dalla riforma Gelmini. La matematica deve essere studiata anche come espressione creativa della mente umana, con una sua peculiare storia, e perciò è a tutti gli effetti cultura, da cui non si può prescindere: come si può far passare tutto questo in sole due ore settimanali al triennio ad esempio di un liceo classico? "Homo sum, nihil humanum a me alienum puto" diceva Terenzio. E la matematica è essenzialmente "umana" e perciò ha diritto ad un maggiore spazio anche in un liceo non scientifico. Spero di riuscire ad infondere almeno nei miei figli l'amore per la cultura in generale e per la matematica in particolare.

Giorgio Israel ha detto...

Sono d'accordo che la vera svolta è lontana e anzi - è quel che ho voluto segnalare - c'è il rischio di un'ulteriore involuzione per "merito" dei tecnocrati aziendalisti che stanno prendendo piede. Sono anche d'accordo sulle considerazioni relative alla matematica.

CARTIS ha detto...

Il progetto sperimentale del MIUR sulla valutazione delle scuole per premiare il "lavoro di squadra" del personale, si basa proprio sui test INVALSI di Matematica e Italiano. Già qui sarebbe da chiedersi di quale "squadra" si sta parlando visto che sono implicati direttamente solo due professori. Ma non è questo il problema principale bensì il contenuto di questi test.Io, nel mio piccolo, ho "smontato" in tutti i modi possibili i test INVALSI di Matematica, somministrati ai miei alunni all'esame di terza media dello scorso giugno e di cose da dire, nel bene e nel male, ne avrei tantissime, troppe per un post che deve essere necessariamente sintetico. Forse è proprio questo il tema su cui dibattere e confrontarsi adesso che il treno della valutazione è ormai partito, sulla natura e sui contenuti di tali test e sulle basi epistemologiche della Matematica perchè è facile prevedere (si vedono già ora) i condizionamenti che avranno sulla didattica. Cordialmente Mignucci Ermete

Giorgio Israel ha detto...

Come ha ben capito, sono completamente d'accordo. E infatti quel che dico è che bisogna confrontarsi con il contenuto dei test. Anzi: bisogna chiedere con forza il confronto e imporlo, anche nelle specifiche sedi scolastiche. Per ora è partito soltanto un convoglio sonda. Se non si critica fin d'ora questo modo assurdo di procedere - tutta l'attenzione alla metodologia di valutazione (peraltro sbagliatissima, come emerge dal mio post sulla valutazione) e nessuna ai contenuti - le prospettive sono cupe.

Caroli ha detto...

La "Caterpillar University", ossia il modo con cui vengono introdotti i corsi interni, presenta test superabilissimi senza aver letto una sola riga di testi base, semplicemente giocando sulla ripetibilità dei test medesimi; una persona ripete il test tante volte, oppure ritorna indietro quando sbaglia, ed alla fine "supera" il test senza sapere un bel nulla dell'argomento trattato e, quello che è peggio, senza ricordarsi un accidenti di quello che si sarebbe dovuto studiare per superare i tests.
Nota Bene: i tests sono sequenze di videate in un sito Internet senza sbarramenti - come detto - a ritroso. Un vero e proprio invito a "fare il furbo".
Vogliono ridurre ad un ignorantificio simile anche la scuola? Spero di no.

Nautilus ha detto...

Oooohh! Finalmente!
Chiarito un mistero per me a tutt'oggi insondabile, devo ringraziare il Prof. Israel per informazioni e valutazioni che trovo qui per la prima volta, persi come siamo nella "nebbia della guerra" delle statistiche.
Mi spiego: ho dato esami d'ingegneria in due diverse università italiane, una solo in discreta posizione in classifica QS, l'altra al top (c'era allora e vedo che c'è sempre). Bene, nella prima i miei faticosi risultati non erano un granchè...passato dopo i primi venti esami a quella al top (non senza un certo timore) i voti decollarono istantaneamente! Naturalmente non è che fossi cambiato io, è che le difficoltà erano significativamente diminuite, e col duro addestramento ricevuto nella prima andavo, come si dice, sul velluto.
E allora perchè le classifiche internazionali mettevano 150 posti fra l'una e l'altra, mentre mi era chiarissimo che quella posizionata peggio era molto più esigente e mi aveva fornito una preparazione nettamente migliore?
Avessi dovuto giudicarle io avrei sicuramente invertito le posizioni almeno per la didattica, su che si basavano dunque queste classifiche?
Fino ad adesso non mi ero curato di approfondire l'argomento, finalmente il mistero è spiegato...e si ritorna lì: la "misurazione" statistica della qualità è problema ancora irrisolto e queste classifiche non sono attendibili.

junco ha detto...

“L’obbiettivo di trasformare la scuola in una macchina volta al successo nei test” è il circolo autoreferenziale della facilitazione: semplificazione delle verifiche che morde la coda alla semplificazione dei saperi.
Ieri ho letto una pagina di Dostoevskij, dal Diario di uno scrittore, del Gennaio 1876. Nel 1876 aveva già capito l'andazzo:

“E' un vero peccato che attualmente si cerchi di facilitar tutto ai fanciulli, non soltanto l'istruzione in ogni campo, qualsiasi apprendimento di nozioni, ma anche i giuochi e i divertimenti. Non appena il fanciullo comincia a balbettare le prime parole, subito ci si dà da fare per facilitargli lo sforzo. Tutta la pedagogia odierna non ha altra preoccupazione. Facilità non è sempre sviluppo, qualche volta significa anche regresso. Due o tre idee, due o tre impressioni più profondamente vissute nell'infanzia, con uno sforzo proprio (e, se volete, con propria sofferenza), avvieranno il fanciullo nella vita più profondamente che non la scuola più organizzata nel facilitare le cose, dove nulla è preciso, né bene né male, dove persino il vizio non è vizioso e le virtù non sono virtuose”(...)
“Gioventù cattiva e indesiderabile, ma io sono sicuro che l'educazione troppo intenta a render tutto facile porta la colpa se la gioventù è oggi così, e Dio sa quanta ce n'è oggi da noi di questo genere!”.

Giorgio Israel ha detto...

Grazie di questa magnifica citazione che non conoscevo!... Ne farò senz'altro buon uso.

ilaria ha detto...

La citazione è effettivamente bellissima, ma è anche a doppio taglio: se già ci si lamentava della scuola troppo facile nella Russia zarista (!), forse siamo noi che stiamo invecchiando...

junco ha detto...

Mi fa piacere, perché quando ho letto quella pagina, ho subito pensato al buon uso che lei avrebbe saputo farne.

Fabio Milito Pagliara ha detto...

Caro professore,

per quanto riguarda le soluzioni oltre a potenziare il corpo ispettivo, come suggeriva in un altro commento del suo blog,

mi chiedevo se non fosse possibile impegnare i docenti in servizio(e dunque senza costi aggiuntivi, si tratta solo di cambiare i compiti sul contratto, al massimo prevedendo commissioni composte da docenti provenienti da altre scuole/sedi) in esami di fine anno per l'ammissione all'anno successivo fin dalle scuole primarie?

grazie e buon lavoro

Giorgio Israel ha detto...

Ma io pensavo esattamente a questo. Non tanto a potenziare il corpo ispettivo quanto proprio a creare commissioni nel senso che dice lei, che possono anche includere docenti in pensione. Ma tanto figuriamoci se qualcuno mi da retta....

Fabio Milito Pagliara ha detto...

Caro Professore non disperi,

pian piano visti i disastri degli ultimi anni sta emergendo una volontà di cambiare le cose e sono idee che trovano una discreta adesione tra i colleghi... certo non sarà qualcosa che accadrà domani ma penso che sia un passaggio ineludibile per la scuola, riflettendoci con alcuni colleghi all'opposizione dei costi si pensava appunto ad includere nel contratto dei docenti in servizio il compito di svolgere questi esami.

cordialmente, Fabio Milito Pagliara

Gianfranco Massi ha detto...

Straordinaria quella meditazione di Dostoevskij,e profondamente sofferta, come tutte le verità dell'animo umano.
Ai giorni nostri possiamo aggiungere all'andazzo da lui deprecato di facilitare con ogni mezzo lo sforzo di apprendimento dei ragazzi fin dalla pubertà,il vezzo negativo di eliminare anche ogni forma di rimprovero.
Uno dei più vistosi risultati di questa nuova e pietosa pedagogia la vediamo nelle piazze e negli stadi.

feynman ha detto...

Prima di tutto mi complimento per l'articolo, sono completamente d'accordo su tutto il contenuto. La conclusione dell'ultimo suo commento mi sconcerta: non danno retta nemmeno a lei nelle alte sfere della pubblica istruzione? [a noi docenti non danno retta come dimostrano le discussioni nei forum indire che hanno portato a quasi nessuna modifica nella struttura della "riforma" della scuola media superiore]

junco ha detto...

Ricevo questa citazione da un'amica e condivido volentieri:


“La gente (con l’aiuto di convenzioni) ha dissoluto tutto in facilità e della facilità nella più facile china; ma è chiaro che noi ci dobbiamo tenere al difficile; ogni cosa vivente ci si tiene … Poco noi sappiamo, ma che ci dobbiamo tenere al difficile è una certezza che non ci abbandonerà; è bene essere soli perché la solitudine è difficile; che alcuna cosa sia difficile dev’essere una ragione di più per attuarla.
Anche amare è bene: ché l’amore è difficile” (Rainer M. Rilke, Lettere a un giovane poeta, Lettere a una giovane signora, Su Dio)

Nautilus ha detto...

Va tutto bene Junco, però sappiamo anche che la scuola e l'istruzione hanno il compito di facilitare la comprensione del difficile.
Il che consiste nel tenersi lontani dai due estremi: versare la pappa scodellata o abbandonare lo studente a difficoltà che non è in grado da solo di superare.
Il buon insegnamento dovrebbe indicare la via e fermarsi là dove il ragazzo, "con sforzo proprio", possa essere in grado di continuare da solo.
Quindi non "rendere tutto facile" ma "rendere tutto possibile", questo è il compito "facilitatore" della scuola, secondo me.
E grazie per la citazione di Dostojevski, dovrebbe essere il bello dei blog la condivisione di conoscenze che altrimenti ci sfuggirebbero di sicuro.

Universitas ha detto...

La critica ai test PISA-OCSE è vecchia. I primi a farla sono stati i docenti delle scuole nel momento del duro attacco del Governo alla scuola. In quel momento i test non erano criticabili, ma assoluti. Ora, quando i test mettono in evidenza che la scuola privata è meno performante (molti nella loro esperienza personale sono d'accordo su questa valutazione), allora non vanno più bene. Mi dispiace per il prof. Israel, ma è in ritardo. Molti dicono anche che l'università italiana non è così di scarso livello come ci dicono giornali, radio e televisioni perchè bisogna far passare nell'opinione pubblica che la riforma Gelmini è necessaria e giusta. In realtà non produrrà alcun effetto meritocratico perchè non prevede risorse aggiuntive e non spiega come le valutazioni verranno fatte, se verranno fatte. Tra qualche anno un articolo di segno contrario rivaluterà i nostri atenei? Vorrei ricordare che l'Università Italiana è la meno finanziata in Europa e tra le meno finanziate tra i paesi OCSE; al contrario il rapporto studenti/docenti è tra i più alti (dati OCSE).