Crónica sobre el ISSI 2013 en Viena

Esta entrada reproduce el contenido de otra previamente publicada en el blog EC3Noticias: EC3 en el ISSI 2013.

La pasada semana se celebró el 14th International Society for Scientometrics & Informetrics Conference en Viena, el principal congreso internacional en bibliometría donde estuvimos Evaristo y Nicolás en representación del Grupo EC3 presentando los distintos trabajos del grupo. Allí se reunieron alrededor de 350 personas para compartir ideas y discutir sobre los principales temas y novedades que acontecen en este campo. Hot topics como las conocidas Altmetrics y los nuevos indicadores que están surgiendo para medir el impacto social de la ciencia estuvieron ampliamente cubiertos en el congreso junto a temas más clásicos como la evaluación de universidades y los rankings, la detección de temas emergentes, la visualización de la ciencia o el desarrollo de nuevos indicadores. Asimismo, por vez primera se dedicó una sesión enteramente a la evaluación de libros y monografías (con Evaristo como moderador), una de las principales debilidades de la bibliometría de cara a la evaluación de la actividad científica.

Por nuestra parte, participamos en el congreso con tres comunicaciones distintas. La primera estuvo dedicada a los rankings de universidades, donde aprovechamos para presentar los Rankings I-UGR de Universidades, fruto de nuestra colaboración con el grupo de investigación Soft Computing, liderado por Francisco Herrera y que este año han cumplido ya con su cuarta edición:

Robinson-García, N., Moreno Torres, J.G., Torres-Salinas, D., Delgado López-Cózar, E. & Herrera, F. The role of national university rankings in an international context: the case of the I-UGR Rankings of Spanish universities. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 2, 1550-1565.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1216.pdf

The role of national university rankings in an international context: The case of the I-UGR Rankings of Spanish Universities from Nicolas Robinson-Garcia

Fruto de nuestra colaboración con nuestros colegas de Viena y en concreto con Juan Gorraiz y su equipo, presentamos una comunicación en la que analizamos la posibilidad de utilizar el préstamo en bibliotecas como criterio para la selección de monografías por parte de los índices de citas como el Book Citation Index:

Cabezas-Clavijo, Á., Robinson-García, N., Torres-Salinas, D., Jiménez-Contreras, E., Mikulka, T., Gumpenberger, C., Wernisch, A. & Gorraiz, J. Most borrowed is most cited? Library loans as a proxy for monograph selection in citation indexes. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference , vol. 2, 1237-1252.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1488.pdf

Most borrowed is most cited? Library loan statistics as a proxy for monograph selection in citation indexes from Nicolas Robinson-Garcia

Finalmente, ya centrados en el Book Citation Index, hicimos un análisis sobre los patrones de citación de los libros de acuerdo a una serie de variables (libros editados, incluidos en serie y tipo de editorial). Un trabajo que es una continuación de trabajos anteriores analizando esta base de datos.

Torres-Salinas, D., Robinson-García, N., Cabezas-Clavijo, Á., Jiménez-Contreras, E. Analyzing the citation characteristics of books: Edited books, book series and types of publishers in the Book Citation Index. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 1, 96-108.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1483.pdf

Analyzing the citation characteristics of books: edited books, book series and types of publishers in the Book Citation Index from Nicolas Robinson-Garcia

La ciencia se rebela contra el Impact Factor

“Do not use journal-based metrics, such as Journal Impact Factors, as a  surrogate measure of the quality of individual research articles”

Recientemente se ha hecho público la “Declaración sobre Evaluación de la Ciencia” [Declaration on Research Assessment] o DORA, de acuerdo a sus iniciales. Un documento de recomendaciones para la evaluación de la actividad investigadora ya sea a nivel institucional o a nivel individual.  Nace de la American Society for Cell Biology que reunió a finales del pasado año, a distintos editores de revistas científicas y grupos editoriales para elaborar el documento. Entre las editoriales y asociaciones que suscriben el documento se encuentran la American Association for the Advancement of Science (AAAS) que edita la prestigiosa revista Science, o Embo Journal, perteneciente al grupo Nature Publishing. Es decir, palabras mayores.

El documento surge fruto de la preocupación creciente por el mal uso que hacen del Factor de Impacto las numerosas agencias de evaluación en los distintos procesos de selección de personal investigador, concesión de becas, proyectos de investigación, etc. El problema radica en la equiparación que hacen las agencias entre la calidad de las revistas y la calidad de los artículos (entendida como el impacto derivado de las citas científicas). Se destaca la necesidad de utilizar indicadores a nivel de artículo y no a nivel de revista y, aunque se reconoce la importancia del artículo científico como el principal producto científico, también se enfatiza la necesidad de evaluar otro productos como sets de datos científicos o la elaboración de software. Finalmente, ofrece una serie de recomendaciones específicas a los distintos actores involucrados: entidades financiadoras, instituciones, editores, agencias evaluadoras e investigadores.

En mi opinión hay dos puntos especialmente reseñables en este documento, que marcan claramente la postura de los científicos: 1) la inclusión de datasets como productos evaluables y 2) la animadversión hacia el Factor de Impacto. Respecto al primer punto, la importancia de compartir los datos de investigación no sólo por su posible reutilización sino también con la idea de dotar de mayor transparencia a la ciencia, es más que palpable, especialmente tras el reciente lanzamiento de Scientific Data, por parte de Nature.

En cuanto al segundo punto, me resulta especilmente llamativo. Y es que está tan manido el indicador y ha sido tan pobremente utilizado por parte de las agencias evaluadoras que produce un odio recalcitrante entre los investigadores, tal y como refleja el duro editorial que Science le dedica. El problema que le veo a este documento es que se convierte en una inquina focalizada en este indicador en concreto, al no llegar a prescindir del resto de indicadores que evalúan la calidad de las revistas. En efecto, a las revistas les recomienda en primera instancia, lo siguiente:

Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

Lo que supone no prescindir del uso de estos indicadores para la evaluación de la actividad investigadora, sino trasladar el problema hacia otros indicadores. También recomienda el uso de indicadores a nivel de artículo o article-level metrics, del tipo de los que se incluyen en la revista PLOS One. Y es que el problema no es del Factor de Impacto, sino de una visión simplista y superficial de los indicadores bibliométricos. Una denuncia que se echa bastante de menos.

La importancia de Luria

Estos días estoy leyendo el muy recomendable libro the James D. Watson donde describe de primera mano cómo él y su colega Crick hicieron el hallazgo científico más grande del S. XX y sin duda uno de los más grandes de la historia: la estructura de ADN. Una interesante lectura enfocada en lado más humano de la ciencia, describiendo envidias, disputas y una alta competitividad por ser los primeros. Más allá de la historia en sí, hay un personaje totalmente secundario pero de una relevancia decisiva en la carrera científica de Watson que me ha llamado especialmente la atención. Su director, Salvador Luria.

I wrote to Luria to save me

James D. Watson ( The Double Helix, 1968)

Como sabrán aquellos que hayan leído esta magnífica obra, la llegada de Watson a Europa estuvo llena de escalas. Primero Noruega, luego un infructuoso intento por ir a Londres, pasando entre medias por Nápoles (donde conoció a Maurice Wilkins), para finalmente aterrizar en Cambridge. Por el camino la indecisión de Watson sobre cuál era la línea de investigación más interesante y sus constantes cambios de opinión acerca de los supervisores con los que trabajaba le hizo adoptar distintas estratagemas para evitar trabajar con ellos y hacerlo con terceros en línas de investigación que consideraba más llamativas. Incluyendo la anécdota, ya en Cambridge en la que acude a un investigador para preguntarle si estaría dispuesta a aparecer en los papeles como su supervisor sin serlo en la práctica. Todos estos cambios de humor claramente injustificados a priori cuentan en todo momento con Luria (que también fue Premio Nobel) como cómplice que es quien se encarga de interceder por él para asegurarle la financiación, sin cuestionarse en ningún momento si su antiguo doctorando le estaba realmente tomando el pelo y viviendo a costa de las ayudas.

Y es que no hay mejor manera de hacer ciencia con mayúsculas que dejándola en manos de grandes científicos (incluyendo la financiación). Sin embargo, tengo la impresión de que cada vez más en ciencia el científico debe rendir cuentas constantemente a agente externos a la propia comunidad científica, ya sea la sociedad en su sentido más general o las agencias financiadoras. Esto hace que casos de éxito como el de Watson sean prácticamente imposibles al prescindir de esa confianza tácita entre grandes científicos. ¿Se imaginan lo que pasaría en alguna universidad española si saliera a la luz que algún investigador ha recibido tal o cuál ayuda para investigar fuera porque su director (reputado investigador) ha intercedido por él? ¡El baremo! exclamaríamos, ¡qué pasa con el baremo!

Peerage of Science: revolucionando el peer review

‘¿Una revolución editorial?’ Con esta pregunta comienza el post Mike Fowler acerca de Peerage of Science, una nueva empresa surgida de la Universidad de Jyväskylä en Finlandia. Se trata de una plataforma creada por tres investigadores finlandeses que trae aire fresco al siempre cuestionado sistema de revisión por pares. El planteamiento, ciertamente innovador, unifica distintas propuestas que ya se habían planteado en el pasado como posibles mejoras.

Se trata de una plataforma cerrada para autores, revisores y editores en la que los investigadores mandan los manuscritos para luego ser revisados por colegas que están interesados y ser posteriormente seleccionados por los editores para su publicación. Solo se puede acceder mediante invitación de un miembro y solo se puede revisar trabajos si se acredita la autoría de al menos una publicación en una revista científica internacional en la que se aparezca como primer firmante. Una vez el manuscrito es enviado, se invita a la comunidad a que muestre su interés por revisarlo (manteniendo a priori el anonimato tanto del autor como de los revisores). Tras ser revisado y corregido, los editores tienen acceso al documento con la posibilidad de ‘invitar’ al autor a publicar su artículo en su revista.

Esto permite a los editores adoptar una actitud proactiva para asegurarse los manuscritos que consideren de mayor relevancia. Al mismo tiempo, los informes de los revisores son puntuados, así como almacenadas las revistas a las que han contribuido finalmente, lo que se traduce en prestigio para los mismos. Un planteamiento como se puede comprobar, verdaderamente innovador. Sobretodo si, como pretenden los fundadores de esta empresa, se acaba convirtiendo en un buen negocio.

De momento, han logrado una reseña en la prestigiosa revista Science, colaboran con la revista Ecography, de la editorial Wiley & Sons y han comenzado a recibir sus primeras críticas como las que señala Mike Fowler en su post, veremos qué le depara el futuro.

Soft science: la ciencia se ablanda

Llevamos ya un tiempo en el que se están convirtiendo en cotidianas las noticias sobre malas prácticas en el sistema de comunicación científica. En primer lugar, tenemos el sonado caso del psicólogo Stapel y la retractación de su enésimo artículo en la prestigiosa revista Science, por otro, las universidades saudíes y su política a base de talonario para mejorar sus posiciones en los rankings, y por último,  las alertas contra las consideradas “editoriales fraudulentas”. La verdad es que popularidad con la que cuenta el blog Retraction Watch llega a ser preocupante, ya no por la calidad del mismo, que es indudable, sino porque su ritmo de publicación no cesa.

En Scholarly Kitchen hacen una interesante reflexión sobre el preocupante estado de salud del sistema de comunicación científica, cada vez más viciado por los criterios de evaluación establecidos por agencias e instituciones financiadoras. Así, se plantea si tal vez el estado de ansiedad que está contaminando ya no sólo a investigadores, sino también a gestores y editores, está logrando precisamente el efecto contrario que se planteaba en un principio. Los argumentos que presenta son bastante irrefutables, desde el oportunismo en la publicación, hasta la confección de artículos de diseño de acuerdo a los estándares de las agencias evaluativas, pasando por prácticas menos éticas. Denuncia la falta de transparencia y de reproducibilidad de los resultados científicos en el sistema de publicación,  y cómo la mayor parte de las veces, el descubrimiento del fraude se debe al azar y no a las medidas de control que la revisión por pares debiera establecer.
Sin embargo, la necesidad de medir continúa vigente, ya no sólo por cuestiones de financiación, sino también para la promoción de la institución en sí. En mi opinión, la culpa no es de la forma en que se mide. Muchos son los que la critican y pocos los que ofrecen alternativas viables y coherentes. Tal vez la solución de parte de estos problemas podría venir dada por establecer políticas de data sharing, tal y como está ocurriendo ya en algunos países, y la obligatoriedad del investigador de dar evidencias de sus publicaciones. Las revistas más importantes (incluyendo a Science, la que publicó los trabajos de Stapel) ya lo hacen, pero fiar el control a editoriales que a fin de cuentas, lo que buscan es el lucro y nada más, no parece algo muy recomendable. Tal vez el problema del sistema de comunicación científica tenga más que ver con haberle dado el poder de juzgar lo que es bueno de lo que es malo a las revistas, y creernos su dictamen a pies juntillas.

Sobre agentes e integrados

Tras participar en el congreso Umbrella 2011 el pasado miércoles con todo este asunto de los bibliotecarios integrados en los grupos de investigación, he recibido bastante feedback como para darme cuenta de que hay evidencias en el interés de este perfil y que hay serias cuestiones que deben ser tratadas para que pueda implantarse.

Supporting research from the inside: the embedded librarian

View more presentations from Nicolas Robinson-Garcia

El interés que despertó la sesión y sobre todo mi intervención (algo que no esperaba en absoluto) evidencia la existencia de una necesidad a la hora de ofrecer un mejor servicio a los investigadores y el desconcierto a la hora de plantear cómo afrontar estas nuevas demandas.

En primer lugar, el tema de la financiación es clave, no obstante, parece que se puede superar, ya que como se demuestra en muchos casos (en nuestro caso por ejemplo y al que me refiero en las últimas diapositivas), son los propios grupos de investigación los que se encargan de financiar la creación de estos puestos.

La otra cuestión clave y, en mi opinión, la más complicada, es la de la formación. El hecho de que quede la duda de si es el bibliotecario (o más bien el profesional con estudios en Documentación) la persona idónea para cumplir este rol, es preocupante. Si bien es cierto que es necesario conocer a fondo el modus operandi del investigador, no tengo tan claro que investigadores de otras disciplinas manejen mejor que nosotros las herramientas necesarias (o al menos que tengan la misma habilidad que nosotros para dominarlas rápidamente). Pero está claro que algo falla cuando se pone de relieve el hecho de que muchos bibliotecarios sean incapaces de hacerlo. El debate está abierto.

Amateur bibliometrics

Durante mis cada vez más frecuentes inmersiones como embedded librarians veo más y más los estragos que está produciendo en muchos profesores la obsesiva actividad evaluadora que poco a poco va gobernando sus vidas. Muchas veces tengo la sensación de que el trabajo que tengo que realizar tiene más que ver con el coaching que con la bibliometría, cual Mourinho intentando quitarles la presión de encima e intentando mantener una actitud a medio camino entre el apremio y la cautela. Y es que la necesidad de cumplir unos criterios que (justos o injusto) no se entienden, están adulterando el comportamiento de los investigadores que más allá de centrarse en sus investigaciones, se centran en rellenar huecos y crean frustraciones que llevan a actitudes como esta.

Pero más allá de las limitaciones del sistema de evaluación actual, sobre lo que aquí querría reflexionar aquí es sobre la proliferación de malas prácticas bibliométricas y de las falsas concepciones que se tienen, consecuencia precisamente de este afán evaluador. El problema radica en la falsa premisa de que cualquiera puede realizar pequeñas incursiones bibliométricas sin tener necesariamente conocimiento previo sobre el tema. Ello lleva a conclusiones disparatadas, basadas en metodologías (si es que realmente hay alguna) llenas de gazapos y errores. En este sentido, es especialmente interesante leer el capítulo de libro “The Social Constructivism of Bibliometric Evaluations”, el cuál hace una interesante reflexión sobre estas prácticas que abundan no sólo a nivel individual, sino también a nivel institucional. Además, apunta directamente a la causa de la proliferación de estas prácticas:

Funding agencies […] often request the submission of journal impact factors or citation counts for the publications contained in the inves- tigators’ CVs, thus forcing applicants to conduct amateur bibliometrics

El cambio de imagen que ha sufrido la Bibliometría en las últimas décadas ha hecho que el péndulo oscile desde el total escepticismo a una peligrosa aceptación sin reservas, paradójicamente ignorando a los expertos en la materia que no paran de alertar del riesgo que supone actuar así.

Un seminario gigantesco

Los pasados días 16 y 17 de marzo, celebramos en la Facultad de Comunicación y Documentación el III Seminario EC3 sobre evaluación de la ciencia y la comunicación científica. Si cabe destacar algo por encima del resto, fue la enorme asistencia que tuvo el evento con alrededor de 100 personas de todos los puntos de España. Y aunque ya se publicará desde EC3 Noticias la reseña correspondiente, quisiera destacar aquí mi visión personal del evento.

La apertura del seminario el miércoles, vino de la mano de Evaristo que destacó la importancia de la tesis doctoral como el esfuerzo del doctorando indicativo de su posterior carrera investigadora. Fue interesante ver, una de tras de otra, las tesis en las que cada uno de mis compañeros doctorandos (y recién doctorado) están trabajando. A pesar de conocer de antemano las temáticas de cada uno, el hecho de ver todas en conjunto permite percatarse de la gran variedad temática que tocamos y el contraste que hay (especialmente en el caso de Rafael Repiso con su análisis de redes sociales y José Pino con los mapas cartográficos para la toma de decisiones), con puntos en común pero con distintos enfoques y perspectivas. Muy interesantes las aportaciones de Isidro Aguillo que estuvo muy activo y participativo sin “dar muchos palos” y haciendo comentarios que sin duda enriquecerán el trabajo de los doctorandos.

Design and development of national research rankings of Universities

View more presentations from Nicolas Robinson

Presentación de mi proyecto de tesis para el III Seminario EC3, dirigido por Evaristo Jiménez-Contreras y Emilio Delgado López-Cózar.

El día grande fue el jueves, con tres mesas redondas muy jugosas moderadas por Daniel Torres-Salinas, Álvaro Cabezas-Clavijo y Evaristo Jiménez-Contreras consecutivamente. En la primera, dedicada ránkings de Universidades abrió la sesión Emilio Delgado aportando una visión crítica e introduciendo el tema con su “Cocinando rankings”, versión mejorada y actualizada de una presentación anterior. A continuación, Francisco Herrera presentó los Rankings ISI, esfuerzo colaborativo entre el grupo SCI2S y el grupo EC3. La sesión la cerró Isidro con una gran intervención, crítica y divertida donde presentaba una visión general del fenómeno de los rankings de universidades, sus limitaciones e impacto y presentaba el Ranking Web de Universidades en el Mundo que promueve el acceso abierto y la presencia online de los investigadores.

La segunda mesa, dedicada a la Webometría, contaba con la participación de nuestro invitado de gala, Mike Thelwall, uno de los máximos investigadores de esta disciplina a nivel mundial. Con su habitual humor inglés, ofreció una introducción a la Webometría y su aplicación a la Evaluación de la Ciencia ofreciendo ejemplos prácticos. Y como anillo al dedo vinieron los tres siguientes ponentes que le acompañaron y que ofrecieron tres casos prácticos muy distintos donde cabe utilizar las técnicas webométricas, a saber: David Minguillo y su análisis sobre parques tecnológicos y su relación con el entorno, Jose Luis Ortega y su mapeo de la red académica a nivel mundial y Esteban Romero Frías  y su análisis sobre afinidades políticas estudiando las relaciones web de los partidos políticos y los medios de comunicación.

Por la tarde tuvimos la sesión más calentita del día, como no podía ser de otra forma, al tratar de un tema que levanta polémica: La evaluación de las Ciencias Sociales y las Humanidades. Comenzó Eduardo Bergasa presentándonos el proyecto más exitoso y ambicioso a nivel nacional que hay en la actualidad: Dialnet. Una encomiable labor que se realiza desde la Universidad de la Rioja. Elea Giménez-Toledo estuvo presentando algunos resultados de un proyecto que están realizando para identificar las editoriales más prestigiosas a nivel nacional e internacional en estos campos. A continuación presentó Daniel Torres-Salinas la clasificación CIRC de revistas en Ciencias Sociales, una aproximación respaldada por los principales grupos de bibliometría de España para poner un poco de orden en estos campos. Finalmente, Rafael Ruíz-Pérez, habló sobre los nuevos criterios que se están barajando y la problemática existente para evaluar la repercusión en Bellas Artes y Humanidades. Esta fue la mesa más polémica de todas donde se habló de cuestiones tan trascendentales como qué se considera investigación en Bellas Artes, qué distinciones deben de hacerse entre distintas disciplinas de las Ciencias Sociales, etc.

Sin duda un evento exitoso y que sirvió para confraternizar con colegas de toda España y conocer qué se está haciendo a nivel nacional en el campo de la Bibliometría.

Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología

El pasado 23 de septiembre hice la defensa del trabajo de fin de máster titulado "Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología (2000-2006)". El trabajo se enmarca dentro del Proyecto del grupo EC3 "Parametrización de los indicadores de citación a nivel nacional de acuerdo con las áreas ANEP", un proyecto cuyo objetivo es la elaboración de herramientas bibliométricas que permiten asesorar y facilitar el trabajo del evaluador de cara a conseguir un Informed Peer Review.

En el trabajo que presenté se analizaban los distintos hábitos de producción y citación para los investigadores de estas tres áreas dependiendo del tipo de revistas donde publicaban (revistas nacionales o internacionales). Para ello se utilizaron las bases de datos WoS (para producción internacional) e In-RECS (para producción nacional). El trabajo está disponible para la descarga [pdf] y la presentación la tienen disponible a continuación. Algunas diapositivas no se ven bien por los efectos del PowerPoint, sería más conveniente descargársela para verla correctamente.

Perfiles de actividad de investigadores españoles en Economía, Educación y Psicología (2000-2006)

View more presentations from Nicolas Robinson.

Peer review: ciencia y ética

En una clase del máster que estoy cursando, salió hace poco el tema del fraude científico. Un tema recurrente por la polémica que conlleva y el interés que desata. El caso más reciente y mediático fue el del científico Hwang [pdf],  que ya fue ampliamente documentado, no sólo por la magnitud del escándalo (el tipo iba directo al premio Nobel), sino porque los sistemas de evaluación de la revista donde sus trabajos fueron publicados no detectaron en ningún momento el engaño y fueron miembros del propio equipo del investigador coreano quienes pusieron en evidencia el fraude.

Es más, el último editorial de la prestigiosa revista médica Lancet, denuncia la publicación masiva de artículos fraudulentos provenientes de china. Poniendo de manifiesto nuevamente la fragilidad del sistema de evaluación y la facilidad que existe para vulnerarlo.

El tema de la revisión por pares es algo complicado. Normalmente, cuando se revisa un trabajo de investigación no se parte de la premisa del engaño, sino del de la calidad del mismo y el acierto en la metodología seguida por parte del/los investigador/es evaluado/s. En un trabajo realizado por Bornmannn et al. (2008) realizaron un análisis de contenido de 46 estudios que versaban sobre los criterios utilizados por los revisores y editores al evaluar un paper. Los principales criterios son los siguientes:

1. Relevancia de la contribución
2. Presentación y estilo
3. Diseño y planteamiento
4. Metodología establecida
5. Discusión de los resultados
6. Bibliografía
7. Base teórica
8. Reputación del autor o de la afiliación
9. Ética

Como vemos, en ningún momento se plantean la posible falsificación de datos. Pero, ¿son estas razones suficientes como para invalidar el sistema? La premisa de la que se parte es la de la buena fe del investigador. La revisión por pares no consiste en una investigación policial para detectar al infractor, sino una herramienta para promover estándares de calidad en las revistas. El sistema no es precisamente el idóneo y contiene defectos que deben ser corregidos de algún modo, pero parafraseando a Liz Wager, la revisión por pares es un poco como la democracia: es un sistema malísimo pero es el mejor que tenemos.

Referencias:

Bornmann, Lutz; Nast, Irina; Daniel, Hans-Dieter. Do editors and referees look for signs of scientific misconduct when reviewing manuscripts? A quantitative content analysis of studies that examined review criteria and reasons for accepting and rejecting manuscripts for publication. Scientometrics 77 (3) 2008 pp. 415-432

Lancet. Scientific fraud: action needed in China. 375 (9709) 2010 pp. 94

¿Sería el tiempo una variable para medir el impacto de las publicaciones científicas?

A través de Scholarship 2.0 y por recomendación de un colega, me he topado con esta conferencia titulada "Final Impact: What Factors Really Matter?" que también se puede descargar como podcast.
En una de las tres ponencias, Jevin West, de Eigenfactor.org, presenta algunas de las variables que ellos utilizan para medir el impacto de las publicaciones científicas que utilizan. Entre ellas destaca el tiempo que un investigador pasa mirando una revista o un artículo (en formato electrónico, se entiende).
¿Qué opináis?
 Por cierto, muy interesante también la intervención de Johan Bollen, del proyecto MESUR, que critica y revisa el concepto de impacto y propone basarse en el uso de la información, en las redes sociales, en los medios no tradicionales (blogs, twitter, facebook, etc.). Se trata de una forma de controlar no solamente la "comunicación formal" sino también los colegios invisibles, la conversación que se genera en la web y los medios alternativos.
Su propuesta no es tanto eliminar el uso de las citas para calcular el impacto, sino convertirlo en una variable más junto con el uso, número de descargas y otras muchas más variables que permitan dar una visión más ajustada del verdadero impacto que tienen las publicaciones científicas en la comunidad así como el impacto que tienen los nuevos medios de comunicación.

La hipótesis

Las hipótesis son las linternas de la ciencia. Entrar en investigación sin
hipótesis es como entrar en una habitación a oscuras.

Oído en clase.

Mateo, las citas y los enlaces

Poco tiempo llevo aprendiendo y conociendo qué es esto de la Evaluación Científica y la Bibliometría. Tal vez demasiado poco como para opinar acerca de ello.

No obstante, la sensación que se me queda cada vez que leo algo o me cuentan algo sobre el tema es de desconcierto. Y no sólo eso, sino que cuanto más ahondo acerca del tema más desconcertado me encuentro. Es por ello, que si caigo en el error agradecería que los expertos en la materia me corrigieran de inmediato. La impresión que me llevo, de momento, es que la calidad de los trabajos, al igual que sucede con Google y su sistema de recuperación de búsquedas, se basa principalmente en la popularidad. Y ¿es realmente válida la popularidad como un criterio de calidad? En esto es donde aún no me aclaro, digamos que voy asimilando conceptos pero sin que éstos me lleguen a convencer. Lo que sí es cierto es que todo este paradigma hace que algo que en un principio se me antojaba como aburridísimo (contar citas, bua!), ahora sí que despierta cierto interés en mí.

La calidad de un trabajo podría definirse como un aspecto (por llamarlo de alguna manera) intrínseco al documento, algo implícito que ya subyace en el documento desde el momento en el que éste es concebido. Es decir, un artículo (o un sitio web) es bueno ya de por sí, y al tomar contacto con la comunidad, ésta lo que hace no es más que constatar su calidad.

El problema de la evaluación de la ciencia surge, como siempre, desde el momento en el que se establecen criterios. Ya que esto supone incluir cierto factor no exento de subjetividad. Pero bueno, una vez asumidos unos criterios, haber sido discutidos y considerados válidos por la gran mayoría, como es el caso de las citas, se incorporan como base para la evaluación.

Pero es éste el momento que más dudas me suscita acerca de la validez del sistema. Desde el mismo momento en el que se intuyó cómo funcionaban los buscadores en Internet (que son, a fin de cuentas los que evalúan la calidad/visibilidad de los sitios web) surgió el posicionamiento, cuya principal función es "falsear" esos resultados mediante una serie de técnicas hasta el punto que se ha convertido en una profesión.

En la ciencia, sin llegar a esos extremos, y siempre desde mi humilde punto de vista, ha ocurrido exactamente lo mismo, desde el momento en el que se establecen unos criterios de evaluación, se convierte en práctica habitual establecer una serie de métodos que falseen estos resultados. De hecho, hay mucha mafia al respecto.

De hecho, cada vez son más las voces críticas con los resultados que ofrece Google y por lo fácil que es vulnerarlos. ¿No ocurrirá lo mismo con la evaluación científica si continúan y aumentan las malas prácticas?