sabato 29 novembre 2008

Memento sulla valutazione

La Commissione Scientifica dell'Unione Matematica Italiana esprime il
suo apprezzamento per il progetto del Ministero dell'Istruzione,
dell'Università e della Ricerca di individuare criteri
internazionalmente riconosciuti per la valutazione dei titoli e delle
pubblicazioni nelle procedure comparative per il reclutamento dei
ricercatori e dei professori universitari. Nel recente passato criteri
di questo genere erano già stati adottati in maniera autonoma dalla
stragrande maggioranza delle commissioni dei settori MAT/*.

Rileva però che nessun criterio basato unicamente su indicatori
numerici di tipo statistico può sostituirsi al giudizio scientifico
motivato da parte di un gruppo di esperti. In una pubblicazione
esauriente e ben documentata [1], l'International Mathematical Union,
l'International Council of Industrial and Applied Mathematics e
l'Institute for Mathematical Statistics, massimi organi scientifici
della comunità matematica a livello mondiale, hanno sostenuto di
recente che nessun gruppo di parametri basati esclusivamente su dati
bibliometrici (numero di citazioni, indice H, impact factor delle
riviste su cui compaiono le pubblicazioni) può, da solo, dare
risultati affidabili nella valutazione dell'attività scientifica, pur
costituendo un utile elemento di giudizio.

La Commissione Scientifica dell'Unione Matematica Italiana auspica
quindi che tra i parametri che verranno individuati dal Ministero
figurino, in posizione predominante, la qualità, l'originalità, il
rilievo e la persistenza dei risultati scientifici ottenuti dai
candidati. Sulla base dell'esperienza internazionale, tali parametri
non possono essere calcolati automaticamente a partire da dati
statistici, ma possono essere determinati soltanto sulla base del
parere di un gruppo di esperti della materia, che si assume la
responsabilità del giudizio scientifico. Nel caso delle valutazioni
comparative per il reclutamento dei ricercatori, la soluzione più
naturale è affidare questo compito alla stessa commissione
giudicatrice, che potrebbe, ove lo ritenesse opportuno, richiedere il
parere di riconosciuti esperti internazionali.

La Commissione Scientifica dell'Unione Matematica Italiana fa infine
notare che, nelle istituzioni scientifiche internazionali, prima della
decisione finale i candidati migliori vengono convocati per un
colloquio, permettendo così una valutazione diretta delle loro
capacità di esporre i propri risultati e di discutere i problemi della
propria disciplina. Auspica quindi che le nuove norme per il
reclutamento dei ricercatori universitari continuino a prevedere
questa possibilità.


NOTE
[1] R. Adler, J. Ewing, P. Taylor: Citation Statistics, International
Mathematical Union, International Council of Industrial and Applied
Mathematics, Institute for Mathematical Statistics, June 2008.

11 commenti:

Fabio ha detto...

Professore, questo suo articolo ha generato una delle solite discussione tra me e mio fratello (che è un dottorando, io sono uno studente) sulla misurabilità del merito scientifico, o comunque sulla possibilità di creare ordinamenti assoluti.

Per questo voglio chiederle: Lei sostiene che non siamo capaci di creare una misura totalmente automatica - che diventa unico criterio di scelta - o piuttosto nega che ci sia proprio la grandezza da misurare?

Faccio un esempio: si presentano tre candidati [a,b,c] a coppie, per un posto unico.
Una ipotetica commissione assegna il posto con degli ordinamenti incrociati: a meglio di b, b migliore di c e c migliore di a. Ecco, mio fratello dice che un tale risultato può essere frutto solamente di un criterio iniquo, perché non rispecchia la realtà sottostante che vede una grandezza che, pur di difficile misurazione, deve esistere e vede tutti i candidati su un asse unico di valore.

Io invece dico che un criterio che produca un risultato del genere potrebbe anche essere giusto, e ci direbbe che non esiste un valore assoluto, una misura, che ogni candidato si porta appresso... ma solamente una graduatoria contingente, legata di volta in volta al numero e all'identità degli altri candidati.

Lei cosa ne pensa?

E, scendendo più terra terra: non pensa che dare uno spazio di arbitrarietà sia comunque pericoloso? I criteri che lei ha elencato non sono poi gli stessi che vengono valutati nell'ambito di pubblicazioni, riviste, conferenze et cetera?

Ho anche reperito la pubblicazione da lei citata. Appena avrò il tempo leggerò anche quella.

Giorgio Israel ha detto...

Mi perdonerà se non posso sviluppare un argomento così complesso su un blog. Mi limito a dire che certe nozioni qualitative sono evidentemente non misurabili. Per esempio, esiste uno scambio di lettere interessantissimo tra Poincaré e Walras sulla misurabilità dell'utilità in cui entrambi convengono trattarsi di una grandezza non misurabile (persino la temperatura non lo era prima dell'introduzione della temperatura assoluta). Le nozioni che definiscono qualità umane sono per lo più tutte non misurabili, anzi in generale non sono neppure grandezze, in quanto non suscettibili di quantificazione se non in termini puramente indicativi, che riflettono cioé la valutazione che un soggetto fa di quelle qualità. Il "voto" scolastico è questo: nient'altro che un'indicazione semplice (attraverso numeri) di una scala di valutazione. È inutile (e puerile) nascondere l'elemento soggettivo e arbitrario che sta dietro la valutazione. La speranza di oggettivizzare tutto alla maniera delle misurazioni delle grandezze fisiche è illusoria e puerile. Ecco perché l'espressione esplicita, mediante un giudizio argomentato è la cosa più seria che si possa fare.
È molto triste - e segno della mediocrità dei tempi- che fatti evidenti come questi, o che piuttosto lo erano un secolo fa, oggi appaiano confusi, tanto che c'è persino qualcuno che crede che l'utilità sia misurabile. Se così fosse dovrebbe avere le cortesia di spiegare quale ne sia l'unità di misura, il che è ovviamente impossibile. Ma questa è la qualità della cultura scientifica circolante.

Lucio ha detto...

C'e' forse un argomento che si puo' dare a proposito di questa discussione e che puo' aiutare a chiarire un po'.

Le valutazioni comparative, cosi' come sono organizzate oggi in Italia, sono - a mio avviso, si capisce - prive di senso. I settori scientifico-disciplinari sui quali si basano gli attuali concorsi sono dei contenitori troppo ampi per poter paragonare il lavoro dei candidati, almeno nelle discipline scientifiche. Questo, si capisce, a meno di differenze macroscopiche che potrebbero sussistere tra, che ne so, un Newton ed un Pinco Pallino, il che succede molto di raro. Sarebbe molto piu' facile, sensato ed ... utile se, invece di aprire dei posti a ricercatore universitario con le diciture estremamente generiche dei SSD ("Analisi", "Geometria", "Fisica Matematica" etc., solo per menzionare quelli che conosco meglio), si facesse come nelle universita' anglosassoni ed americane, dove il dipartimento apre una posizione di "Assistant Professor" in settori molto piu' ristretti (e gli avanzamenti successivi non comportano poi l'apertura di una nuova posizione come da noi, ma sono il frutto di una semplice valutazione del lavoro svolto). La valutazione comparativa viene fatta da una commissione interna di docenti e ricercatori di quel settore, e le modalita' sono quelle piu' snelle di una "job-interview", dove e' sempre compreso un seminario sul tuo lavoro di ricerca. E non devi fare esami di sorta, che alla fine sono una leva in piu' per pilotare i nostri concorsi. Il giudizio di quella commissione, poi, sara' certamente soggettivo, come puo' non esserlo!! Ma e' una commissione di esperti del settore, il cui giudizio vale piu' di qualunque misura "oggettiva" o pretesa tale. E sara' un giudizio insindacabile, ma del quale, in seguito, i membri di tale commissione dovranno rispondere personalmente nel caso in cui la persona prescelta dovesse dimostrarsi il fannullone di turno o comunque non all'altezza.

Allora, visto che un criterio oggettivo non esiste, a meno sempre di differenze davvero macroscopiche, perche' non possiamo abolire i concorsi e seguire questa strada anche in Italia? Vabbe', almeno in parte so gia' la risposta ...

Non so se mi son fatto capire.
Cordialmente,
Lucio Demeio.

Giorgio Israel ha detto...

E quale sarebbe questa risposta? La mia è che bisogna andare all'abolizione dei concorsi: lista nazionale di idonei e chiamata dalle università.

Lucio ha detto...

Certo che sono d'accordo con l'abolizione dei concorsi!! La lista di idonei puo' anche andar bene (tipo quella che in Francia e' il Maitre de Conference?), o la ``cooptazione" diretta con responsabilizzazione diretta di coloro che operano la scelta.

La ``risposta" cui alludevo e' la solita: i concorsi non si aboliranno mai perche' sono uno strumento di "controllo del potere" da parte di molti gruppi accademici (le famose cordate, etc.). Ma non intendevo dire che fosse la Sua risposta!!

Cordialmente,
Lucio Demeio.

martinet ha detto...

Scusate se disturbo, vorrei dire la mia, per quel che serve. Ho visto come si fanno le selezioni per nuovi docenti nelle università statunitensi: fai una lezione di fronte a una commissione ristretta, mentre chi ti ascolta ha già letto il tuo CV e i papers che il concorrente ha ritenuto più significativi relativamente alla propria carriera di studioso – il tutto svolto in un’atmosfera di piacevole informalità, molto friendly, come solo gli americani sanno fare. Alla fine si sceglie il candidato reputato dai commissari “in their own candor” (! Si usa dire proprio così) il migliore. Niente di più semplice: ma voi credete davvero che un sistema siffatto, se importato di peso nell’istituzione accademica italiana, avrebbe il medesimo risultato? Sarebbe peggio, e il perché è presto detto. Il problema qui da noi è che COMUNQUE si può fare di un brocco un cavallo di razza e viceversa, tanto per usare una metafora adusata. Il concorso in Italia ha un crisma legale che di fatto mette in guardia i commissari dall’essere troppo sicuri della loro tracotanza da strapotere, pena ricorsi e citazioni in tribunale. Eliminato anche l’usbergo della forma giuridica, in Italia non ci sarebbe più freno alla corruzione. A tutt’oggi, se si vuole pilotare il concorso, il delitto bisogna farlo perfetto, altrimenti son beghe legali: e si sa quanto gli eminenti docenti universitari nostrani tollerino essere messi in discussione, magari di fronte a una chiamata in correità. Certo, mi si dirà, questo sistema ha prodotto – e produce – guasti indicibili: lo so bene, basta guardare il livello della ricerca scientifica italiana (e non di quegli italiani, che molto spesso, esuli in altri paesi, con i loro successi nei vari campi danno involontariamente lustro riflesso alla loro patria – ingrata, come disse Scipione l’Africano!). Credo, però, che non sia cambiando il sistema di valutazione che si risolva la questione nel nostro Paese, ma cambiando in meglio la mente e l’animo di chi quel dato sistema adopera: e, permettetemi, su ciò nutro i miei fierissimi dubbi. Non dico che non esista IN ASSOLUTO un sistema giusto per vagliare i migliori scienziati e studiosi, gli è che non PUO’ esistere in Italia, a mio avviso. A scanso di querele, dirò comunque ciò che si dice di solito: che la corruzione nell’accademia italiana è limitata e non è così onnipervasiva come sembra. Sono affatto convinto di ciò. Certo, anch’io avrei da dire qualcosa, dato che ho qualche esperienza in proposito, ma transeam per tema di esser riconosciuto. Egregio prof. Israel, prendo l’occasione per attestarLe la mia più sincera stima, soprattutto per quel che Ella rappresenta: una vox clamantis in deserto – è un complimento, mi creda. Per quanto mi riguarda, ho fatto le valigie, e finalmente vado via, libero in un paese dove una cavallo di razza è per tutti un vero cavallo di razza, e dove un brocco è quello che è: un brocco. Adieu.

Lucio ha detto...

Per docente:

e' ovvio che il sistema di reclutamento "all'americana" non produrrebbe effetti positivi se non fosse accompagnato dall'assunzione di responsabilita' di chi opera le scelte. Potro' anche cammuffare un brocco da cavallo di razza, ma poi il livello della mia unita' di ricerca diminuirebbe e dovrebbero conseguentemente diminuire anche i finanziamenti, i fondi e l'assegnazione di nuove posizioni. Penso che se fosse impostato in questo modo potrebbe funzionare anche in Italia.

Per il resto, ho sempre pensato che per far funzionare questo paese, in tutti i suoi settori, bisognerebbe prima cambiare la testa agli italiani. Ma e' come dire che molti dei nostri guai, difetti o carenze sono, come dire, "culturali", fanno capo piu' alla nostra mentalita' (modo di pensare) che alle regole o leggi in vigore. E' un concetto espresso molto efficacemente da Gherardo Colombo, persona di cui ho grande stima, sia nel suo saggio "Sulle regole" sia nei seminari che tiene in giro per l'Italia. Ho avuto modo di assistere ad una sua conferenza; il succo e': inutile che ci lamentiamo della corruzione e delle storture nei luoghi di potere (compresa l'universita' ed i suoi concorsi) se prima non cambiamo il nostro modo di agire, tutti quanti, nel nostro piccolo, nella vita di ogni giorno, dalle macchine parcheggiate in seconda fila al prezzo favorevole di un negozio o di un'attivita' commerciale "perche' e' una nostra vecchia conoscenza", etc.

Cordialmente,
Lucio Demeio.

Lucio ha detto...

Per docente:

e' ovvio che il sistema di reclutamento "all'americana" non produrrebbe effetti positivi se non fosse accompagnato dall'assunzione di responsabilita' di chi opera le scelte. Potro' anche cammuffare un brocco da cavallo di razza, ma poi il livello della mia unita' di ricerca diminuirebbe e dovrebbero conseguentemente diminuire anche i finanziamenti, i fondi e l'assegnazione di nuove posizioni. Penso che se fosse impostato in questo modo potrebbe funzionare anche in Italia.

Per il resto, ho sempre pensato che per far funzionare questo paese, in tutti i suoi settori, bisognerebbe prima cambiare la testa agli italiani. Ma e' come dire che molti dei nostri guai, difetti o carenze sono, come dire, "culturali", fanno capo piu' alla nostra mentalita' (modo di pensare) che alle regole o leggi in vigore. E' un concetto espresso molto efficacemente da Gherardo Colombo, persona di cui ho grande stima, sia nel suo saggio "Sulle regole" sia nei seminari che tiene in giro per l'Italia. Ho avuto modo di assistere ad una sua conferenza; il succo e': inutile che ci lamentiamo della corruzione e delle storture nei luoghi di potere (compresa l'universita' ed i suoi concorsi) se prima non cambiamo il nostro modo di agire, tutti quanti, nel nostro piccolo, nella vita di ogni giorno, dalle macchine parcheggiate in seconda fila al prezzo favorevole di un negozio o di un'attivita' commerciale "perche' e' una nostra vecchia conoscenza", etc.

Cordialmente,
Lucio Demeio.

Luigi Sammartino ha detto...

Esprimo il più totale accordo a quanto dice il professor Demeio.

Quello che Docente descrive con queste parole

fai una lezione di fronte a una commissione ristretta, mentre chi ti ascolta ha già letto il tuo CV e i papers che il concorrente ha ritenuto più significativi relativamente alla propria carriera di studioso – il tutto svolto in un’atmosfera di piacevole informalità, molto friendly


è un sistema in cui vige la professionalità. E questo non riguarda solo i concorsi per i ricercatori, ma praticamente quasi tutto il nostro vivere sociale e professionale. Tutti desideriamo una commissione esaminatrice professionale quando facciamo un esame o un concorso. Ma desideriamo anche essere curati da un medico professionale, fare un esame all'università sapendo che il professore che ti giudica sia davvero professionalmente adeguato al ruolo che compre, o ancora fare un progetto con un gruppo di lavoro professionalmente adeguato, e così via.

Quella della professionalità è una delle linee di demarcazione che separano un paese avanzato da uno arretrato.

Detto questo, però, io non credo che l'Italia sia così indietro da non potersi riprendere.

Ma come sostiene il prof. Demeio, fare troppe riforme legislative non serve a niente. Bisogna attaccare il nostro tarlo culturale e agire affinché le nuove generazioni non ereditino più il nostro mal costume.

In questo mi sento di essere relativamente ottimista. Credo cioè che i giovani siano meno contaminati e più orgogliosi.

Cordialmente.
Luigi Sammartino.

Lucio ha detto...

Intanto mi scuso per il messaggio doppio; pensavo che il primo non fosse partito, invece lo era.

Il discorso comincia a farsi difficile, perche' quello che faranno le nuove generazioni e' davvero difficile da prevedere. Da un lato, quelli che, tra i giovani, arrivano alle posizioni di prima fila (scientifiche, politiche od altro) sono stati "tirati su" dalla generazione precedente e, da quel poco che ho potuto osservare nel mio campo, ne seguono il modo di pensare. I giovani che vogliono uscire dagli schemi sono pochi e non ce la fanno. Oppure semplicemente se ne vanno, come "docente", ma anche come tanti altri. Come biasimarli?

L'unica ragione per essere ottimisti e' che ... non c'e' scelta! O si cambia, o verremo fagocitati dal resto dell'Europa. Con buona pace per coloro che europeisti non sono (e ne conosco sin troppi...)

Cordialmente,
Lucio Demeio.

Luigi Sammartino ha detto...

A proposito di Europa, mi piacerebbe mettere all'attenzione dei partecipanti del blog quest'articolo di Repubblica.

http://ricerca.repubblica.it/repubblica/archivio/repubblica/2008/05/05/germania-scuola-vietato-bocciare.html

Io non so se quanto è qui riportato corrisponde a verità perché, come ho già detto, io dei giornali mi fido poco.

Tuttavia, se ciò che vi è scritto è vero, vuol dire che anche in un paese come la Germania si stanno adottando delle procedure di taglio dei costi a tutto svantaggio della serietà didattica e della meritocrazia. Con questo non voglio assolutamente dire "mal comune mezzo gaudio". Intendo dire che forse il problema della decadenza del sistema scolastico si iscrive in quel processo storico che fa capo alla globalizzazione, e al considerare lo Stato come un'impresa che a fine anno deve portare il rendoconto agli azionisti.

Si tratta di una mia interpretazione ovviamente. Però credo che 30-40 anni fa le proposte di cui parla questo articolo le facevano solo gli studenti che protestavano, e suonavano infatti come una provocazione inaccettabile. Ora pare proprio che non siano nemmeno proposte, bensì vere e proprie delibere di governo, decise sulla base di semplici calcoli di spesa.

Mi piacerebbe sapere di più sul sistema scolastico tedesco nonché sul loro metodo di reclutamento e selezione del corpo docente.

Cordiali Saluti.
Luigi Sammartino.