“Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles”
Recientemente se ha hecho público la “Declaración sobre Evaluación de la Ciencia” [Declaration on Research Assessment] o DORA, de acuerdo a sus iniciales. Un documento de recomendaciones para la evaluación de la actividad investigadora ya sea a nivel institucional o a nivel individual. Nace de la American Society for Cell Biology que reunió a finales del pasado año, a distintos editores de revistas científicas y grupos editoriales para elaborar el documento. Entre las editoriales y asociaciones que suscriben el documento se encuentran la American Association for the Advancement of Science (AAAS) que edita la prestigiosa revista Science, o Embo Journal, perteneciente al grupo Nature Publishing. Es decir, palabras mayores.
El documento surge fruto de la preocupación creciente por el mal uso que hacen del Factor de Impacto las numerosas agencias de evaluación en los distintos procesos de selección de personal investigador, concesión de becas, proyectos de investigación, etc. El problema radica en la equiparación que hacen las agencias entre la calidad de las revistas y la calidad de los artículos (entendida como el impacto derivado de las citas científicas). Se destaca la necesidad de utilizar indicadores a nivel de artículo y no a nivel de revista y, aunque se reconoce la importancia del artículo científico como el principal producto científico, también se enfatiza la necesidad de evaluar otro productos como sets de datos científicos o la elaboración de software. Finalmente, ofrece una serie de recomendaciones específicas a los distintos actores involucrados: entidades financiadoras, instituciones, editores, agencias evaluadoras e investigadores.
En mi opinión hay dos puntos especialmente reseñables en este documento, que marcan claramente la postura de los científicos: 1) la inclusión de datasets como productos evaluables y 2) la animadversión hacia el Factor de Impacto. Respecto al primer punto, la importancia de compartir los datos de investigación no sólo por su posible reutilización sino también con la idea de dotar de mayor transparencia a la ciencia, es más que palpable, especialmente tras el reciente lanzamiento de Scientific Data, por parte de Nature.
En cuanto al segundo punto, me resulta especilmente llamativo. Y es que está tan manido el indicador y ha sido tan pobremente utilizado por parte de las agencias evaluadoras que produce un odio recalcitrante entre los investigadores, tal y como refleja el duro editorial que Science le dedica. El problema que le veo a este documento es que se convierte en una inquina focalizada en este indicador en concreto, al no llegar a prescindir del resto de indicadores que evalúan la calidad de las revistas. En efecto, a las revistas les recomienda en primera instancia, lo siguiente:
Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.
Lo que supone no prescindir del uso de estos indicadores para la evaluación de la actividad investigadora, sino trasladar el problema hacia otros indicadores. También recomienda el uso de indicadores a nivel de artículo o article-level metrics, del tipo de los que se incluyen en la revista PLOS One. Y es que el problema no es del Factor de Impacto, sino de una visión simplista y superficial de los indicadores bibliométricos. Una denuncia que se echa bastante de menos.
No hay comentarios:
Publicar un comentario