Nueva publicación: Against the resilience of rejected manuscripts

Esta entrada reproduce el contenido de otra previamente publicada en el blog EC3Noticias: Against the resilience of rejected manuscripts.

Acabamos de publicar en el último número del Journal of the American Society for Information Science and Technology una carta titulada 'Against the resilience of rejected manuscripts' en la que respondemos a un editorial de Blaise Cronin en la que analiza qué ocurre con los papers que rechaza JASIST y descubre, que muchos de ellos acaban publicándose en otras revistas o formatos. De los 180 manuscritos que analizan, identificaron 74 de ellos publicados ya fuera en revistas o en tesis, informes técnicos, etc. De estos, 40 se publicaron en revistas nucleares del área de Biblioteconomía y Documentación. Esto podría poner en tela de juicio el sistema de revisión por pares ya que significa que normalmente, trabajos rechazados acaban publicándose en otros medios.

En nuestra carta, reflexionamos sobre cómo el peer review actúa más como moderador de la ciencia que como filtro, desviando aquellos trabajos de peor calidad a revistas de menor impacto más que imposibilitando su publicación. No obstante, consideramos que el sistema tiene margen de mejora ya que no tiene sentido que un mismo trabajo sea revisado una y otra vez por distintos investigadores (que trabajan de manera voluntaria) sin tener en cuenta los informes emitidos por los anteriores revisores del trabajo. Por tanto proponemos que los sistemas de gestión de revistas tipo OJS por ejemplo, hagan un seguimiento de los manuscritos que son rechazados y enviados a otras revistas, incluyendo la opción de que las revistas que así lo deseen puedan compartir informes de revisores para así no cargar más a los investigadores y maximizar esfuerzos.

LEER EL ARTÍCULO COMPLETO

Robinson-García, N., Torres-Salinas, D., Campanario, J.M., & Delgado López-Cózar, E. Against the resilience of rejected manuscripts. Journal of the American Society for Information Science and Technology, 64(10), 2187-2188 doi:10.1002/asi.22894

Peerage of Science: revolucionando el peer review

‘¿Una revolución editorial?’ Con esta pregunta comienza el post Mike Fowler acerca de Peerage of Science, una nueva empresa surgida de la Universidad de Jyväskylä en Finlandia. Se trata de una plataforma creada por tres investigadores finlandeses que trae aire fresco al siempre cuestionado sistema de revisión por pares. El planteamiento, ciertamente innovador, unifica distintas propuestas que ya se habían planteado en el pasado como posibles mejoras.

Se trata de una plataforma cerrada para autores, revisores y editores en la que los investigadores mandan los manuscritos para luego ser revisados por colegas que están interesados y ser posteriormente seleccionados por los editores para su publicación. Solo se puede acceder mediante invitación de un miembro y solo se puede revisar trabajos si se acredita la autoría de al menos una publicación en una revista científica internacional en la que se aparezca como primer firmante. Una vez el manuscrito es enviado, se invita a la comunidad a que muestre su interés por revisarlo (manteniendo a priori el anonimato tanto del autor como de los revisores). Tras ser revisado y corregido, los editores tienen acceso al documento con la posibilidad de ‘invitar’ al autor a publicar su artículo en su revista.

Esto permite a los editores adoptar una actitud proactiva para asegurarse los manuscritos que consideren de mayor relevancia. Al mismo tiempo, los informes de los revisores son puntuados, así como almacenadas las revistas a las que han contribuido finalmente, lo que se traduce en prestigio para los mismos. Un planteamiento como se puede comprobar, verdaderamente innovador. Sobretodo si, como pretenden los fundadores de esta empresa, se acaba convirtiendo en un buen negocio.

De momento, han logrado una reseña en la prestigiosa revista Science, colaboran con la revista Ecography, de la editorial Wiley & Sons y han comenzado a recibir sus primeras críticas como las que señala Mike Fowler en su post, veremos qué le depara el futuro.

Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología

El pasado 23 de septiembre hice la defensa del trabajo de fin de máster titulado "Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología (2000-2006)". El trabajo se enmarca dentro del Proyecto del grupo EC3 "Parametrización de los indicadores de citación a nivel nacional de acuerdo con las áreas ANEP", un proyecto cuyo objetivo es la elaboración de herramientas bibliométricas que permiten asesorar y facilitar el trabajo del evaluador de cara a conseguir un Informed Peer Review.

En el trabajo que presenté se analizaban los distintos hábitos de producción y citación para los investigadores de estas tres áreas dependiendo del tipo de revistas donde publicaban (revistas nacionales o internacionales). Para ello se utilizaron las bases de datos WoS (para producción internacional) e In-RECS (para producción nacional). El trabajo está disponible para la descarga [pdf] y la presentación la tienen disponible a continuación. Algunas diapositivas no se ven bien por los efectos del PowerPoint, sería más conveniente descargársela para verla correctamente.

Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología (2000-2006)

View more presentations from Nicolas Robinson.

Peer review: ciencia y ética

En una clase del máster que estoy cursando, salió hace poco el tema del fraude científico. Un tema recurrente por la polémica que conlleva y el interés que desata. El caso más reciente y mediático fue el del científico Hwang [pdf],  que ya fue ampliamente documentado, no sólo por la magnitud del escándalo (el tipo iba directo al premio Nobel), sino porque los sistemas de evaluación de la revista donde sus trabajos fueron publicados no detectaron en ningún momento el engaño y fueron miembros del propio equipo del investigador coreano quienes pusieron en evidencia el fraude.

Es más, el último editorial de la prestigiosa revista médica Lancet, denuncia la publicación masiva de artículos fraudulentos provenientes de china. Poniendo de manifiesto nuevamente la fragilidad del sistema de evaluación y la facilidad que existe para vulnerarlo.

El tema de la revisión por pares es algo complicado. Normalmente, cuando se revisa un trabajo de investigación no se parte de la premisa del engaño, sino del de la calidad del mismo y el acierto en la metodología seguida por parte del/los investigador/es evaluado/s. En un trabajo realizado por Bornmannn et al. (2008) realizaron un análisis de contenido de 46 estudios que versaban sobre los criterios utilizados por los revisores y editores al evaluar un paper. Los principales criterios son los siguientes:

1. Relevancia de la contribución
2. Presentación y estilo
3. Diseño y planteamiento
4. Metodología establecida
5. Discusión de los resultados
6. Bibliografía
7. Base teórica
8. Reputación del autor o de la afiliación
9. Ética

Como vemos, en ningún momento se plantean la posible falsificación de datos. Pero, ¿son estas razones suficientes como para invalidar el sistema? La premisa de la que se parte es la de la buena fe del investigador. La revisión por pares no consiste en una investigación policial para detectar al infractor, sino una herramienta para promover estándares de calidad en las revistas. El sistema no es precisamente el idóneo y contiene defectos que deben ser corregidos de algún modo, pero parafraseando a Liz Wager, la revisión por pares es un poco como la democracia: es un sistema malísimo pero es el mejor que tenemos.

Referencias:

Bornmann, Lutz; Nast, Irina; Daniel, Hans-Dieter. Do editors and referees look for signs of scientific misconduct when reviewing manuscripts? A quantitative content analysis of studies that examined review criteria and reasons for accepting and rejecting manuscripts for publication. Scientometrics 77 (3) 2008 pp. 415-432

Lancet. Scientific fraud: action needed in China. 375 (9709) 2010 pp. 94