lunedì 14 luglio 2008

LA FOLLIA DI MISURARE TUTTO

Un tema ricorrente in questo blog è la mania quantitativa che sta distruggendo la cultura. Che si tratti di scuola, di educazione, di valutazione l'ossessione di misurare tutto è ormai uno degli aspetti più cupi dei nostri tempi. La "misura delle qualità"...
Stiamo esagerando? E allora leggete questo appello dei direttori delle riviste di storia e cultura scientifica inglesi. Credo che non abbia bisogno di commenti. È un documento che non trovo esagerato definire drammatico. E che descrive molto bene gli effetti disastrosi della dittatura degli incompetenti docimologi e valutatori.


Journals under Threat: A Joint Response from HSTM Editors

We live in an age of metrics. All around us, things are being standardized, quantified, measured. Scholars concerned with the work of science and technology must regard this as a fascinating and crucial practical, cultural and intellectual phenomenon. Analysis of the roots and meaning of metrics and metrology has been a preoccupation of much of the best work in our field for the past quarter century at least. As practitioners of the interconnected disciplines that make up the field of science studies we understand how significant, contingent and uncertain can be the process of rendering nature and society in grades, classes and numbers. We now confront a situation in which our own research work is being subjected to putatively precise accountancy by arbitrary and unaccountable agencies. Some may already be aware of the proposed European Reference Index for the Humanities (ERIH), an initiative originating with the European Science Foundation. The ERIH is an attempt to grade journals in the humanities – including “history and philosophy of science”. The initiative proposes a league table of academic journals, with premier, second and third divisions. According to the European Science Foundation, ERIH “aims initially to identify, and gain more visibility for, top-quality European Humanities research published in academic journals in, potentially, all European languages”. It is hoped “that ERIH will form the backbone of a fully-fledged research information system for the Humanities”. What is meant, however, is that ERIH will provide funding bodies and other agencies in Europe and elsewhere with an allegedly exact measure of research quality. In short, if research is published in a premier league journal it will be recognized as first rate; if it appears somewhere in the lower divisions, it will be rated (and not funded) accordingly.

This initiative is entirely defective in conception and execution. Consider the major issues of accountability and transparency. The process of producing the graded list of journals in science studies was overseen by a committee of four (the membership is currently listed at http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-governance-and-panels/erih-expert-panels.html). This committee cannot be considered representative. It was not selected in consultation with any of the various disciplinary organizations that currently represent our field such as BSHS, HSS, PSA, SHoT or SSSS. Only in June 2008 were journal editors belatedly informed of the process and its relevant criteria or asked to provide any information regarding their publications. No indication has been given of the means through which the list was compiled; nor how it might be maintained in the future.

The ERIH depends on a fundamental misunderstanding of conduct and publication of research in our field, and in the humanities in general. Journals’ quality cannot be separated from their contents and their review processes. Great research may be published anywhere and in any language. Truly ground-breaking work may be more likely to appear from marginal, dissident or unexpected sources, rather than from a well-established and entrenched mainstream. Our journals are various, heterogeneous and distinct. Some are aimed at a broad, general and international readership, others are more specialized in their content and implied audience. Their scope and readership say nothing about the quality of their intellectual content. The ERIH, on the other hand, confuses internationality with quality in a way that is particularly prejudicial to specialist and non-English language journals. In a recent report, the British Academy, with judicious understatement, concludes that “the European Reference Index for the Humanities as presently conceived does not represent a reliable way in which metrics of peer-reviewed publications can be constructed.” Such exercises as ERIH can become self-fulfilling prophecies. If such measures as ERIH are adopted as metrics by funding and other agencies, then many in our field will conclude that they have little choice other than to limit their publications to journals in the premier division. We will sustain fewer journals, much less diversity and impoverish our discipline.

Along with many others in our field, this Journal has concluded that we want no part of this illegitimate and misguided exercise. This joint Editorial is being published in journals across the fields of history of science and science studies as an expression of our collective dissent and our refusal to allow our field to be managed and appraised in this fashion. We have asked the compilers of the ERIH to remove our journals’ titles from their lists.

Neil Barton (Transactions of the Newcomen Society)
Robert Fox (Notes & Records of the Royal Society)
Michael Hoskin (Journal for the History of Astronomy)
Nick Jardine (Studies in History and Philosophy of Science)
Trevor Levere (Annals of Science)
Bernie Lightman (Isis)
Michael Lynch (Social Studies of Science)
Peter Morris (Ambix)
Iwan Rhys Morus (History of Science)
Simon Schaffer (British Journal for the History of Science)

4 commenti:

Ann Isabel Auersdy ha detto...

Le spiacerebbe molto se linkassi il suo blog al mio?

Con viva cordialità

Cecilia Rabà

(Il Cercatore del Mattino)

www.ceciliaraba.ilcannocchiale.it

Giorgio Israel ha detto...

Al contrario. Va benissimo.

Andrea Cortis ha detto...

Con un mio simpaticissimo collega d'ufficio, giochiamo spesso come bambini con lo h-index, per vedere chi ce l'ha piu' grande! e siccome la metrica non e' un'opinione va a finire che vince sempre lui :) si fa per scherzare, ovviamente, sappiamo entrambi quali sono le nostre rispettive qualita' e difetti senza che il "web of science" venga a farci le pulci!

Ben piu' difficile e' tuttavia giudicare le qualita' di un collega che conosciamo poco o niente, ed anche in questo caso lo h-index non aiuta certamente molto, specialmente se il collega e' giovane. Quello che faccio io di solito e' dare una rapida scorsa ai titoli delle pubblicazioni, ai giornali dove sono state pubblicate, e ai lavori citati ... anche qui non ho bisogno che il "web of science" venga a dirmi che (indipendentemente dalla qualita' dei risultati) e' piu difficile pubblicare su PRL piuttosto che su Fractals! Sfortunatamente, con questo metodo semplicistico, mi passano sotto il naso senza accorgermene una quantita' sempre crescente di articoli interessanti che per ragioni ovvie di tempo non riesco ad approfondire.

E allora, se questa standardizzazione non giova a noi che facciamo scienza, a chi giova?
Principalmente alle case editrici che pubblicano lavori scientifici, e cioe' l'olandese Elsevier, la tedesca (ma di capitale inglese) Springer, e l'inglesissima Nature Publishing Group. Queste case editrici possiedono diritti inalienabili sui lavori e si sostengono finanziariamente con (1) il mio lavoro di ricerca pagato pricipalmente da fondi pubblici (2) le salatissime sottoscrizioni che devo pagare anche per leggere i miei lavori (3) i soldi che devo pagare per vedere pubblicati i miei lavori (4) il mio lavoro volontario e non retribuito come revisore ed editore.

Se non pago (direttamente o indirettamente) non posso accedere al contenuto scientifico, non riesco a pubblicare, i miei fondi sono tagliati, e non posso continure a pagare e sono quindi costretto a pubblicare qualsiasi castroneria pur di non rimanere tagliato fuori dal sistema.

Visto che il business e' chiaramente lucrativo, si moltiplicano il numero dei giornali e ciascun editore ha uno specifico titolo per ogni disciplina (vedere la recente metastasi di pubblicazioni del Nature Publishing Group). A questo punto mi sembra appurato che e' piu' economicamente conveniente scrivere piuttosto che leggere! Il risultato e' che la Scienza si frammenta, i progressi diventano marginali, ed e' pertanto necessaria una (minuscola) metrica per misurarne il *progresso*.

Si tratta chiaramente di una bolla speculativa, di una scommessa al rialzo sul numero di articoli scritti e mai letti, una bolla che come scienziati facciamo fatica a vedere standone all'interno e, a mio modesto avviso, una bolla che rischia di assumere presto proporzioni tragiche. Quando ci sveglieremo da questo letargo e realizzeremo che i soldi investiti nell'impresa scientifica non valgono la candela, la bolla scoppiera' e avremo riportato la Scienza (e la societa' civile) a tempi piu' consoni alle invasioni barbariche che non alla falsa mmagine progressista e illuminata che abbiamo di noi stessi.

Ann Isabel Auersdy ha detto...

Oggi siamo tutti ebrei.

Cecilia Rabà