La ciencia se rebela contra el Impact Factor

“Do not use journal-based metrics, such as Journal Impact Factors, as a  surrogate measure of the quality of individual research articles”

Recientemente se ha hecho público la “Declaración sobre Evaluación de la Ciencia” [Declaration on Research Assessment] o DORA, de acuerdo a sus iniciales. Un documento de recomendaciones para la evaluación de la actividad investigadora ya sea a nivel institucional o a nivel individual.  Nace de la American Society for Cell Biology que reunió a finales del pasado año, a distintos editores de revistas científicas y grupos editoriales para elaborar el documento. Entre las editoriales y asociaciones que suscriben el documento se encuentran la American Association for the Advancement of Science (AAAS) que edita la prestigiosa revista Science, o Embo Journal, perteneciente al grupo Nature Publishing. Es decir, palabras mayores.

El documento surge fruto de la preocupación creciente por el mal uso que hacen del Factor de Impacto las numerosas agencias de evaluación en los distintos procesos de selección de personal investigador, concesión de becas, proyectos de investigación, etc. El problema radica en la equiparación que hacen las agencias entre la calidad de las revistas y la calidad de los artículos (entendida como el impacto derivado de las citas científicas). Se destaca la necesidad de utilizar indicadores a nivel de artículo y no a nivel de revista y, aunque se reconoce la importancia del artículo científico como el principal producto científico, también se enfatiza la necesidad de evaluar otro productos como sets de datos científicos o la elaboración de software. Finalmente, ofrece una serie de recomendaciones específicas a los distintos actores involucrados: entidades financiadoras, instituciones, editores, agencias evaluadoras e investigadores.

En mi opinión hay dos puntos especialmente reseñables en este documento, que marcan claramente la postura de los científicos: 1) la inclusión de datasets como productos evaluables y 2) la animadversión hacia el Factor de Impacto. Respecto al primer punto, la importancia de compartir los datos de investigación no sólo por su posible reutilización sino también con la idea de dotar de mayor transparencia a la ciencia, es más que palpable, especialmente tras el reciente lanzamiento de Scientific Data, por parte de Nature.

En cuanto al segundo punto, me resulta especilmente llamativo. Y es que está tan manido el indicador y ha sido tan pobremente utilizado por parte de las agencias evaluadoras que produce un odio recalcitrante entre los investigadores, tal y como refleja el duro editorial que Science le dedica. El problema que le veo a este documento es que se convierte en una inquina focalizada en este indicador en concreto, al no llegar a prescindir del resto de indicadores que evalúan la calidad de las revistas. En efecto, a las revistas les recomienda en primera instancia, lo siguiente:

Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

Lo que supone no prescindir del uso de estos indicadores para la evaluación de la actividad investigadora, sino trasladar el problema hacia otros indicadores. También recomienda el uso de indicadores a nivel de artículo o article-level metrics, del tipo de los que se incluyen en la revista PLOS One. Y es que el problema no es del Factor de Impacto, sino de una visión simplista y superficial de los indicadores bibliométricos. Una denuncia que se hecha bastante de menos.

La importancia de Luria

Estos días estoy leyendo el muy recomendable libro the James D. Watson donde describe de primera mano cómo él y su colega Crick hicieron el hallazgo científico más grande del S. XX y sin duda uno de los más grandes de la historia: la estructura de ADN. Una interesante lectura enfocada en lado más humano de la ciencia, describiendo envidias, disputas y una alta competitividad por ser los primeros. Más allá de la historia en sí, hay un personaje totalmente secundario pero de una relevancia decisiva en la carrera científica de Watson que me ha llamado especialmente la atención. Su director, Salvador Luria.

I wrote to Luria to save me

James D. Watson ( The Double Helix, 1968)

Como sabrán aquellos que hayan leído esta magnífica obra, la llegada de Watson a Europa estuvo llena de escalas. Primero Noruega, luego un infructuoso intento por ir a Londres, pasando entre medias por Nápoles (donde conoció a Maurice Wilkins), para finalmente aterrizar en Cambridge. Por el camino la indecisión de Watson sobre cuál era la línea de investigación más interesante y sus constantes cambios de opinión acerca de los supervisores con los que trabajaba le hizo adoptar distintas estratagemas para evitar trabajar con ellos y hacerlo con terceros en línas de investigación que consideraba más llamativas. Incluyendo la anécdota, ya en Cambridge en la que acude a un investigador para preguntarle si estaría dispuesta a aparecer en los papeles como su supervisor sin serlo en la práctica. Todos estos cambios de humor claramente injustificados a priori cuentan en todo momento con Luria (que también fue Premio Nobel) como cómplice que es quien se encarga de interceder por él para asegurarle la financiación, sin cuestionarse en ningún momento si su antiguo doctorando le estaba realmente tomando el pelo y viviendo a costa de las ayudas.

Y es que no hay mejor manera de hacer ciencia con mayúsculas que dejándola en manos de grandes científicos (incluyendo la financiación). Sin embargo, tengo la impresión de que cada vez más en ciencia el científico debe rendir cuentas constantemente a agente externos a la propia comunidad científica, ya sea la sociedad en su sentido más general o las agencias financiadoras. Esto hace que casos de éxito como el de Watson sean prácticamente imposibles al prescindir de esa confianza tácita entre grandes científicos. ¿Se imaginan lo que pasaría en alguna universidad española si saliera a la luz que algún investigador ha recibido tal o cuál ayuda para investigar fuera porque su director (reputado investigador) ha intercedido por él? ¡El baremo! exclamaríamos, ¡qué pasa con el baremo!

Data moving: haciendo el trabajo sucio

Leyendo a Marcos Ros hace un par de semanas me encontré con el interesante concepto de Science as a Service, importado de las Ciencias de la Computación y el Software as a Service, parte del modelo de Cloud Computing que se está expandiendo en los últimos años especialmente gracias a servicios como Dropbox, Google Drive o SkyDrive. Como el nombre suena bastante bien y más como lo presentan (outsorcing científico) continúo leyendo para descubrir que de lo que realmente se trata es de la aparición de nuevas empresas dedicadas a crear infraestructuras de datos en la nube.

The key to realizing this dream will be the emergence of effective, low-cost providers of SaaS-based research tools, to which researchers can out-source time-consuming and routine aspects of the discovery process

Ian Foster, 2011

En concreto, el artículo al que hace referencia Marcos publicita la creación de la empresa Globus Online, una empresa que, dicho de manera simplista, se encarga de gestionar y almacenar datos científicos en la nube. La idea que subyace detrás está relacionada con la gestión de la Big Science  y el movimiento del Data Sharing, y busca, al igual que sucede con las empresas de cloud computing, ofrecer almacenamiento y acceso en la nube a investigadores, grupos de investigación y centros que no cuentan con unas instalaciones adecuadas para gestionar grandes cantidades de datos.

Tal y como declaran en la web de la empresa y en el artículo, su objetivo principal es ahorrarle al investigador no sólo dinero, al ofrecer servicios de almacenamiento low cost, sino además, ahorrar tiempo evitando que los investigadores tengan que ser los encargados de mover grandes masas de datos de ordenador a ordenador o de servidor a servidor.