Il carattere circolare del pensiero umano è dimostrato dalla
comparsa di idee in cui genialità e idiozia si confondono. Tale è quella di
valutare la produzione scientifica senza leggerla. L’idea chiave di tale
trovata straordinaria è di contare le citazioni degli articoli. Il buon senso dice
che si cita anche per ragioni estranee al valore del testo citato: per
servilismo, per appartenenza di gruppo, o per screditare. La sociologia delle citazioni
è nata proprio per dimostrare il carattere soggettivo di tale pratica. In
spregio dell’evidenza, essa è stata rovesciata per farne un metodo
“scientifico”: la “bibliometria”, basata su parametri (h-index, impact factor) che
indicherebbero la qualità delle pubblicazioni scientifiche e delle riviste che
le ospitano. Ci vorrebbe molto spazio per descrivere questa pseudoscienza,
spesso praticata da chi non ha più nulla da dire nel proprio campo; e per
descrivere le dure critiche che hanno mostrato come tale sistema automatico non
solo sia pieno di falle, ma incentivi le truffe, la creazione di cordate
accademiche e il conservatorismo intellettuale. Difatti, chi sarà tanto sciocco
da pubblicare in una rivista con una bassa quotazione? O si lancerà in ricerche
innovative ignorate dalle correnti dominanti?
Sta di fatto che in nessun paese al mondo la “bibliometria” è
un sistema di stato per valutare la ricerca e promuovere gli avanzamenti di
carriera: è usato localmente (in vari modi) da certe istituzioni, da altre no. L’Italia,
arrivata per ultima, ha messo in campo la tendenza inveterata a introdurre statalismo
e dirigismo burocratico ovunque sia possibile, costruendo una valutazione di
stato in mano a un’agenzia di stato, l’Anvur. Il carattere universale del
sistema ha posto però il problema che la bibliometria viene fatta da ditte
private statunitensi per il solo settore delle scienze matematiche e naturali. I
settori umanistici si sono ribellati a un sistema che avrebbe considerata
inesistente la loro produzione. Così, è stato inventato per loro un sistema ad hoc, classificando le riviste in tre
categorie, A, B, C. Tale classifica l’hanno fatta apposite commissioni, con
risultati sorprendenti, talora evidentemente assurdi e fonte di ricorsi legali.
I paladini di questo sistema accusano chi protesta di non accettare la
“meritocrazia”e proclamano che l’intento è di superare, con giudizi “oggettivi”,
gli arbitri con cui nelle commissioni si facevano accordi indecenti. Già, ma in
cambio si è offerta alle cordate accademiche un’opportunità ben più allettante.
Difatti, chi riesce a piazzare le riviste “sue” (o di amici) in serie A o si
impossessa delle riviste “migliori”, controlla il processo di reclutamento dei
giovani in modo totale e senza neanche la fatica di telefonare per costruire
accordi e contrattare scambi. D’ora in poi, chi vuole andare avanti in un certo
settore sa che, se non pubblica sulle riviste di chi comanda, è fuori gioco. È
il passaggio dal feudalismo alla monarchia e, in certi casi, all’impero.
Cosa fare? Tornare al buon
senso e rinunciare all’obbiettivo di mettere le braghe al mondo. Le
pubblicazioni si valutano solo leggendole. Se sono troppe, basta chiedere ai
candidati di indicarne una decina che ritengono rappresentative della qualità
della loro ricerca.
(Il Giornale 8 maggio 2013)
13 commenti:
Concordo con Lei Professore, quando dice che
[...] si cita anche per ragioni estranee al valore del testo citato: per servilismo, per appartenenza di gruppo, o per screditare.
Apparentemente esiste anche chi non cita per gli stessi miserabili motivi. Legga un po' cosa scrive questo lettore del corriere in un commento alla notizia che Hawkings boicottera' una conferenza in Israele:
È una bella notizia. Nel mio piccolo aderisco anche io al boicottaggio accademico di Israele. Non ho mai citato un lavoro israeliano in 13 anni di carriera e sempre rifiutato collaborazioni con istituzioni israeliane.
Che esseri piccoli piccoli ...
Andrea Cortis
Possiamo però anche dire che, in negativo, il numero di citazioni qualcosa dice: se uno non viene citato da nessuno, forse non è il caso di affidargli una cattedra all'università. Mi si dirà che è un'ovvietà, ma non dev'essere così, visto il numero di docenti universitari con un numero risibile di citazioni (naturalmente non è il caso del nostro ospite).
E invece, mi permetta cortesemente, ma lei si sbaglia. Il calcolo degli indici di citazioni viene fatto a partire dal database della Thomson-Reuters che conteggia esclusivamente le citazioni degli articoli pubblicati su riviste da lei accreditate, e che – guarda caso - sono quelle che la TR sponsorizza presso le biblioteche raccomandandone l'acquisto. Nulla di strano: è una multinazionale privata, che esiste per far quattrini, e la sua politica è farli speculando sul giro degli acquisti librari, oltre che ovviamente facendosi pagare profumatamente la consultazione del suo database. Pare che l'Anvur abbia pagato somme pazzesche per fare i suoi calcolacci, con sui si sarebbe potuto intervenire sull'edilizia di centinaia di scuole. Guarda caso, i settori indicizzati da TR sono quelli più "produttivi": medicina, ingegneria, scienze applicate, delle scienze di base (fisica teorica, matematica ecc.) tengono poco conto, se non delle riviste più di punta, le scienze umane sono letteralmente ignorate. Così può benissimo accadere che un matematico di fama che aveva il vezzo di pubblicare in italiano su riviste poco note (Atti dell'Accademia di Torino o simili), come il grande Ennio De Giorgi non esista come citazioni rispetto a un mediocre matematico americano che pubblica in inglese, per non dire rispetto all'ultimo dei medici. Bombieri, uno dei massimi matematici viventi, ha un h-index modestissimo rispetto a Alesina, l'economista che scrive sul Corriere che, con tutto il rispetto non gli lucida neppure le scarpe. Potrei continuare, ma ho scritto articoli in merito. Settori come la storia delle scienze, in quanto sul confine con le scienze umane, non esistono semplicemente. I colleghi di storia della matematica, pur avendo scritto centinaia e centinaia di articoli e libri stimati ovunque, non essendo citati sono stati esclusi dall'Anvur per le abilitazioni, e il ricorso al Tar è pendente. L'unico non escluso sono io, e perché? Perché ho scritto un libro sulla storia dell'economia matematica, in inglese con MIT Press. Se fosse rimasto in italiano con Laterza (pur essendo lo stesso libro!) non avrebbe contato un fico secco. Duecento personalità estere hanno fatto un appello al ministro per sanare questo scandalo che ha colpito la storia della matematica: l'Anvur e il ministro se ne sono infischiati. Situazione analoga, ad esempio, per l'economia: l'ultimo econometrico sfigato vale più di un eccellente storico del pensiero economico. Lasciamo perdere: è uno scandalo, che all'estero tutti denunciano. In Australia hanno proscritto la bibliometria. In Francia hanno sciolto l'analogo dell'Anvur. E lo scandalo sullo scandalo è l'aver introdotto il sistema delle riviste di serie A, B, C nel settore umanistico, per le ragioni che ho spiegato e che hanno creato mafie accademiche più forti di prima.
Forse non mi sono spiegato a sufficienza. Al concorso per il settore X si presentano due candidati che si occupano degli stessi argomenti: uno ha lavori che nessuno cita, l'altro ha lavori molto citati. Mi concederà che in questo caso le citazioni qualcosa dicono. Lasciamo stare De Giorgi, erano altri tempi.
Se posso permettermi la citazione di un caso che conosco da vicino (eufemismo): concorso a ricercatore, tre candidati, due del posto, uno esterno. Vince il predestinato (A) e quello esterno (C) contatta l'interno perdente (B), chiedendogli che cosa sia successo. B chiede a C come mai il risultato lo stupisca: C risponde che ha fatto una ricerca sui due candidati interni e dalle pubblicazioni e dalla ricostruzione del curriculum che ne ha potuto fare ha dedotto che avrebbe vinto B.
Da qui a sostenere la bontà di un sistema farraginoso come l'Anvur ce ne passa.
Il secondo è un caso di mafiate accademiche, e la bibliometria non c'entra. Il primo non glielo concedo. Se pubblico un risultato di enorme importanza in italiano (spagnolo, francese) su una rivista nazionale non molto nota (ma anche nota: fino a poco fa gli Atti dei Lincei non erano indicizzati!!), non avrò citazioni, a differenza di uno che pubblica un lavoretto su una rivistina americana. De Giorgi non sono altri tempi. È quel che accade anche oggi. Legga le mafiate che si fanno con le riviste che si citano a vicenda lavori persino plagiati, e ottenendo indici altissimi. Sono descritti in articoli di Arnold, li ho messi in rete. Insisto che siamo l'unico paese al mondo a usare una bibliometria di stato.
Professore, alla fine siamo più d'accordo di quanto forse le sembra.
Mi consentirà che anche il suo esempio non tiene. Se ha un risultato importante, non lo va a pubblicare in lingua nazionale su una rivista poco importante: cerca la maggiore risonanza possibile, mandandola a una rivista diffusa e nota a tutti.
L'errore, come lei giustamente sottolinea, è il volere imporre un criterio "oggettivo" (sottolineo l'uso delle virgolette) dove i criteri di valutazione sono ben più complessi di una somma da contabile.
Caro mac67, ecco un caso che conosco direttamente io. Un giovane studioso, outsider, pubblica un po’ fortunosamente un saggio entro un volume miscellaneo curato da un Ordinario, mettiamo alle pp. 67-86. Alcuni argomenti del saggio vengono trovati utili da altri giovani operanti nel settore, ma, loro, inseriti e in ascesa. Li citano, ma solo con il nome dell’Ordinario, il titolo del libro e le pagine interessate, mettiamo 72-73. Il giovane collaboratore e il titolo del suo saggio non esistono proprio: infatti, come potrebbero giovare alle loro carriere? Si dirà: ma se si vogliono fare scorrettezze le si fa comunque. Vero, ma lasciando al collaboratore la possibilità di presentarsi a un concorso e di presentare le sue pubblicazioni (se nel frattempo non fosse passato a occuparsi di altre attività, visto che per lui non era aria), potrebbe accadere che qualche commissario le leggesse e valutasse se ci sono elementi di interesse. Solo in teoria, d’accordo; ma con il sistema dell’indice di citazioni non ci sarebbe neppure questa possibilità teorica.
Altro che altri tempi!
Grigori Perelman ha meno pubblicazioni di me e non credo che abbia un h-index superiore a 3 o 4, mentre io ho un h-index pari a 12.
La differenza? Tutti sanno chi sia Perelman, mentre nessuno sa (a ragione!) chi sia io.
Andrea Cortis
Caro Mac67, siamo certamente più d'accordo di quanto sembra. Ma (a parte gli esempi da parte di altri intervenuti), il mio esempio non è che non tiene, semplicemente è vero, e quindi tiene. Quel che lei considera un comportamento irrazionale era la norma quando i lavori (sanamente) si valutavano per il contenuto e non (insanamente) come oggi, per la loro apparenza. Il comportamento di Perelman non è quello di un matto ma di uno che si è ribellato a un andazzo indecente: e comunque, sebbene abbia "pubblicato" un risultato epocale soltanto in rete ha costretto la comunità scientifica a inchinarsi davanti a lui, pur continuando ad avere un h-index undetectable. Poincaré ha pubblicato uno dei più grandi articoli scientifici di tutti i tempi sui Rendiconti del Circolo di Palermo, allora rivista ignota, solo perché gli era risultata simpatica, e così ha contribuito a lanciarla. Pubblicare dappertutto e non soltanto sulle riviste "affermate" significa offrire nuove opportunità alle forze nuove. La ricerca è molto più dinamica, innovativa e creativa (e apre le porte ai "giovani"..) se non si limita a consolidare ciò che è già consolidato. Stiamo pubblicando la corrispondenza di Cremona, uno straordinario spaccato della comunità scientifica europea di fine Ottocento: c'era molta più interazione in Europa, si cercava di parlare in tutte le lingue, altro che l'inglese come lingua unica, si pubblicava ovunque e nessuno si preoccupava di non pubblicare nella propria lingua: tanto se un lavoro era importante veniva letto comunque, perché importante NEL MERITO. La persona che ragiona come dice lei è un poveretto costretto a fare così da questo sistema demenziale: in tal modo, è costretto a fare ricerca con gli schemi e le regole di chi ha il controllo dei canali principali. Una follia. Sa perché l'attuale ministro è diffidente nei confronti dell'Anvur e delle sue regole ? (Poi vedremo se riuscirà a far qualcosa, ma questo è un altro par di maniche). Perché il suo settore di ricerca è nuovo, di punta, ancora non bene affermato e pesantemente penalizzato dal sistema delle citazioni… E ha tutte le ragioni...
Lasciando da parte la questione Anvur, che non rimpiango certo, vorrei fare notare la fondamentale differenza tra i tempi di Poincarè e De Giorgi e oggi (tralascio la questione Perelman che a causa della sua eccentricità è un caso unico).
Leggevo tempo fa che all'inizio del 1900 gli articoli di fisica pubblicati nel mondo in un anno erano circa 1000. Chi voleva tenersi aggiornato poteva farlo abbastanza facilmente. Oggi siamo intorno o forse oltre 200 mila articoli, pubblicati in una quantità crescente di riviste. In questa situazione, è inevitabile selezionare ciò che si legge, in base all'importanza e al settore di interesse, e quindi anche la rivista a cui sottomettere un lavoro. Non dico che sia una situazione ideale, ma qual è l'alternativa? Mandare tutti i lavori solo su Arxiv.org eliminando le riviste? Poi siamo in grado di distinguere i lavori validi dalla spazzatura?
Lei insiste sulla "fondamentale differenza" nonostante abbia ricevuto diverse risposte. Quanto all'esplosione del numero degli articoli non è un argomento. Siccome sono troppi bisognerebbe non leggerli e valutarli con un sistema demenziale? Ma che soluzione sarebbe? Cosa fare? Ma è molto semplice. In linea generale, pubblichino pure a tonnellate e a tonnellate di tonnellate: tanto poi alla fine il ciarpame affonda e le cose serie rimangono. Per il resto, il problema riguarda i concorsi e la selezione. E per questo basta procedere in modo semplice (per esempio come si fa in Francia): il candidato presenta una sinossi della sua produzione scientifica e vi allega un numero limitato – dieci al massimo – dei lavori da lui stesso ritenuti come i suoi migliori. Mi si consentirà che è più che facile, doveroso, leggere una decina di articoli per candidato. E il discorso è chiuso. Non capisco per quale motivo quel che si fa all'estero non si può fare qui. Ma lei sa come reclutano in gran parte delle università americane? Tra i candidati sceglie il direttore del Dipartimento sotto la sua responsabilità, al più con l'ausilio di una commissione. Se poi, dopo alcuni anni l'assunto non ha superato una buona valutazione viene mandato via e il direttore viene valutato negativamente per aver assunto un incapace.È una vera e propria cooptazione!… All'estero si è scatenata una polemica violenta contro la bibliometria non perché sia un sistema di stato, ma perché sta corrompendo la ricerca. E noi ne facciamo un sistema di stato!!! Ma cerchiamo di essere seri una buona volta…
Adesso l'ANVUR tramite il neonato SUA vuole costringere molte (ex)Facoltà a dichiarare di produrre disoccupati in quanto non offrono percorsi immediatamente professionalizzanti. Per esempio a Lettere non si può dire che lo sbocco della laurea è l'insegnamento perché la laurea non è di per sé abilitante all'insegnamento stesso.
Buongiorno,
penso che sia interessante leggere l'editoriale su Science di questa settimana sull'uso improprio dell'Impact factor:
http://www.sciencemag.org/content/340/6134/787.full
Ed anche il link nel commento e' interessante:
http://im1.biz/CitationIF.htm
Andrea
Posta un commento