Nueva publicación: Against the resilience of rejected manuscripts

Esta entrada reproduce el contenido de otra previamente publicada en el blog EC3Noticias: Against the resilience of rejected manuscripts.

Acabamos de publicar en el último número del Journal of the American Society for Information Science and Technology una carta titulada 'Against the resilience of rejected manuscripts' en la que respondemos a un editorial de Blaise Cronin en la que analiza qué ocurre con los papers que rechaza JASIST y descubre, que muchos de ellos acaban publicándose en otras revistas o formatos. De los 180 manuscritos que analizan, identificaron 74 de ellos publicados ya fuera en revistas o en tesis, informes técnicos, etc. De estos, 40 se publicaron en revistas nucleares del área de Biblioteconomía y Documentación. Esto podría poner en tela de juicio el sistema de revisión por pares ya que significa que normalmente, trabajos rechazados acaban publicándose en otros medios.

En nuestra carta, reflexionamos sobre cómo el peer review actúa más como moderador de la ciencia que como filtro, desviando aquellos trabajos de peor calidad a revistas de menor impacto más que imposibilitando su publicación. No obstante, consideramos que el sistema tiene margen de mejora ya que no tiene sentido que un mismo trabajo sea revisado una y otra vez por distintos investigadores (que trabajan de manera voluntaria) sin tener en cuenta los informes emitidos por los anteriores revisores del trabajo. Por tanto proponemos que los sistemas de gestión de revistas tipo OJS por ejemplo, hagan un seguimiento de los manuscritos que son rechazados y enviados a otras revistas, incluyendo la opción de que las revistas que así lo deseen puedan compartir informes de revisores para así no cargar más a los investigadores y maximizar esfuerzos.

LEER EL ARTÍCULO COMPLETO

Robinson-García, N., Torres-Salinas, D., Campanario, J.M., & Delgado López-Cózar, E. Against the resilience of rejected manuscripts. Journal of the American Society for Information Science and Technology, 64(10), 2187-2188 doi:10.1002/asi.22894

Crónica sobre el ISSI 2013 en Viena

Esta entrada reproduce el contenido de otra previamente publicada en el blog EC3Noticias: EC3 en el ISSI 2013.

La pasada semana se celebró el 14th International Society for Scientometrics & Informetrics Conference en Viena, el principal congreso internacional en bibliometría donde estuvimos Evaristo y Nicolás en representación del Grupo EC3 presentando los distintos trabajos del grupo. Allí se reunieron alrededor de 350 personas para compartir ideas y discutir sobre los principales temas y novedades que acontecen en este campo. Hot topics como las conocidas Altmetrics y los nuevos indicadores que están surgiendo para medir el impacto social de la ciencia estuvieron ampliamente cubiertos en el congreso junto a temas más clásicos como la evaluación de universidades y los rankings, la detección de temas emergentes, la visualización de la ciencia o el desarrollo de nuevos indicadores. Asimismo, por vez primera se dedicó una sesión enteramente a la evaluación de libros y monografías (con Evaristo como moderador), una de las principales debilidades de la bibliometría de cara a la evaluación de la actividad científica.

Por nuestra parte, participamos en el congreso con tres comunicaciones distintas. La primera estuvo dedicada a los rankings de universidades, donde aprovechamos para presentar los Rankings I-UGR de Universidades, fruto de nuestra colaboración con el grupo de investigación Soft Computing, liderado por Francisco Herrera y que este año han cumplido ya con su cuarta edición:

Robinson-García, N., Moreno Torres, J.G., Torres-Salinas, D., Delgado López-Cózar, E. & Herrera, F. The role of national university rankings in an international context: the case of the I-UGR Rankings of Spanish universities. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 2, 1550-1565.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1216.pdf

The role of national university rankings in an international context: The case of the I-UGR Rankings of Spanish Universities from Nicolas Robinson-Garcia

Fruto de nuestra colaboración con nuestros colegas de Viena y en concreto con Juan Gorraiz y su equipo, presentamos una comunicación en la que analizamos la posibilidad de utilizar el préstamo en bibliotecas como criterio para la selección de monografías por parte de los índices de citas como el Book Citation Index:

Cabezas-Clavijo, Á., Robinson-García, N., Torres-Salinas, D., Jiménez-Contreras, E., Mikulka, T., Gumpenberger, C., Wernisch, A. & Gorraiz, J. Most borrowed is most cited? Library loans as a proxy for monograph selection in citation indexes. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference , vol. 2, 1237-1252.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1488.pdf

Most borrowed is most cited? Library loan statistics as a proxy for monograph selection in citation indexes from Nicolas Robinson-Garcia

Finalmente, ya centrados en el Book Citation Index, hicimos un análisis sobre los patrones de citación de los libros de acuerdo a una serie de variables (libros editados, incluidos en serie y tipo de editorial). Un trabajo que es una continuación de trabajos anteriores analizando esta base de datos.

Torres-Salinas, D., Robinson-García, N., Cabezas-Clavijo, Á., Jiménez-Contreras, E. Analyzing the citation characteristics of books: Edited books, book series and types of publishers in the Book Citation Index. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 1, 96-108.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1483.pdf

Analyzing the citation characteristics of books: edited books, book series and types of publishers in the Book Citation Index from Nicolas Robinson-Garcia

La ciencia se rebela contra el Impact Factor

“Do not use journal-based metrics, such as Journal Impact Factors, as a  surrogate measure of the quality of individual research articles”

Recientemente se ha hecho público la “Declaración sobre Evaluación de la Ciencia” [Declaration on Research Assessment] o DORA, de acuerdo a sus iniciales. Un documento de recomendaciones para la evaluación de la actividad investigadora ya sea a nivel institucional o a nivel individual.  Nace de la American Society for Cell Biology que reunió a finales del pasado año, a distintos editores de revistas científicas y grupos editoriales para elaborar el documento. Entre las editoriales y asociaciones que suscriben el documento se encuentran la American Association for the Advancement of Science (AAAS) que edita la prestigiosa revista Science, o Embo Journal, perteneciente al grupo Nature Publishing. Es decir, palabras mayores.

El documento surge fruto de la preocupación creciente por el mal uso que hacen del Factor de Impacto las numerosas agencias de evaluación en los distintos procesos de selección de personal investigador, concesión de becas, proyectos de investigación, etc. El problema radica en la equiparación que hacen las agencias entre la calidad de las revistas y la calidad de los artículos (entendida como el impacto derivado de las citas científicas). Se destaca la necesidad de utilizar indicadores a nivel de artículo y no a nivel de revista y, aunque se reconoce la importancia del artículo científico como el principal producto científico, también se enfatiza la necesidad de evaluar otro productos como sets de datos científicos o la elaboración de software. Finalmente, ofrece una serie de recomendaciones específicas a los distintos actores involucrados: entidades financiadoras, instituciones, editores, agencias evaluadoras e investigadores.

En mi opinión hay dos puntos especialmente reseñables en este documento, que marcan claramente la postura de los científicos: 1) la inclusión de datasets como productos evaluables y 2) la animadversión hacia el Factor de Impacto. Respecto al primer punto, la importancia de compartir los datos de investigación no sólo por su posible reutilización sino también con la idea de dotar de mayor transparencia a la ciencia, es más que palpable, especialmente tras el reciente lanzamiento de Scientific Data, por parte de Nature.

En cuanto al segundo punto, me resulta especilmente llamativo. Y es que está tan manido el indicador y ha sido tan pobremente utilizado por parte de las agencias evaluadoras que produce un odio recalcitrante entre los investigadores, tal y como refleja el duro editorial que Science le dedica. El problema que le veo a este documento es que se convierte en una inquina focalizada en este indicador en concreto, al no llegar a prescindir del resto de indicadores que evalúan la calidad de las revistas. En efecto, a las revistas les recomienda en primera instancia, lo siguiente:

Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

Lo que supone no prescindir del uso de estos indicadores para la evaluación de la actividad investigadora, sino trasladar el problema hacia otros indicadores. También recomienda el uso de indicadores a nivel de artículo o article-level metrics, del tipo de los que se incluyen en la revista PLOS One. Y es que el problema no es del Factor de Impacto, sino de una visión simplista y superficial de los indicadores bibliométricos. Una denuncia que se echa bastante de menos.