Crónica sobre el ISSI 2013 en Viena

Esta entrada reproduce el contenido de otra previamente publicada en el blog EC3Noticias: EC3 en el ISSI 2013.

La pasada semana se celebró el 14th International Society for Scientometrics & Informetrics Conference en Viena, el principal congreso internacional en bibliometría donde estuvimos Evaristo y Nicolás en representación del Grupo EC3 presentando los distintos trabajos del grupo. Allí se reunieron alrededor de 350 personas para compartir ideas y discutir sobre los principales temas y novedades que acontecen en este campo. Hot topics como las conocidas Altmetrics y los nuevos indicadores que están surgiendo para medir el impacto social de la ciencia estuvieron ampliamente cubiertos en el congreso junto a temas más clásicos como la evaluación de universidades y los rankings, la detección de temas emergentes, la visualización de la ciencia o el desarrollo de nuevos indicadores. Asimismo, por vez primera se dedicó una sesión enteramente a la evaluación de libros y monografías (con Evaristo como moderador), una de las principales debilidades de la bibliometría de cara a la evaluación de la actividad científica.

Por nuestra parte, participamos en el congreso con tres comunicaciones distintas. La primera estuvo dedicada a los rankings de universidades, donde aprovechamos para presentar los Rankings I-UGR de Universidades, fruto de nuestra colaboración con el grupo de investigación Soft Computing, liderado por Francisco Herrera y que este año han cumplido ya con su cuarta edición:

Robinson-García, N., Moreno Torres, J.G., Torres-Salinas, D., Delgado López-Cózar, E. & Herrera, F. The role of national university rankings in an international context: the case of the I-UGR Rankings of Spanish universities. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 2, 1550-1565.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1216.pdf

The role of national university rankings in an international context: The case of the I-UGR Rankings of Spanish Universities from Nicolas Robinson-Garcia

Fruto de nuestra colaboración con nuestros colegas de Viena y en concreto con Juan Gorraiz y su equipo, presentamos una comunicación en la que analizamos la posibilidad de utilizar el préstamo en bibliotecas como criterio para la selección de monografías por parte de los índices de citas como el Book Citation Index:

Cabezas-Clavijo, Á., Robinson-García, N., Torres-Salinas, D., Jiménez-Contreras, E., Mikulka, T., Gumpenberger, C., Wernisch, A. & Gorraiz, J. Most borrowed is most cited? Library loans as a proxy for monograph selection in citation indexes. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference , vol. 2, 1237-1252.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1488.pdf

Most borrowed is most cited? Library loan statistics as a proxy for monograph selection in citation indexes from Nicolas Robinson-Garcia

Finalmente, ya centrados en el Book Citation Index, hicimos un análisis sobre los patrones de citación de los libros de acuerdo a una serie de variables (libros editados, incluidos en serie y tipo de editorial). Un trabajo que es una continuación de trabajos anteriores analizando esta base de datos.

Torres-Salinas, D., Robinson-García, N., Cabezas-Clavijo, Á., Jiménez-Contreras, E. Analyzing the citation characteristics of books: Edited books, book series and types of publishers in the Book Citation Index. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 1, 96-108.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1483.pdf

Analyzing the citation characteristics of books: edited books, book series and types of publishers in the Book Citation Index from Nicolas Robinson-Garcia

La ciencia se rebela contra el Impact Factor

“Do not use journal-based metrics, such as Journal Impact Factors, as a  surrogate measure of the quality of individual research articles”

Recientemente se ha hecho público la “Declaración sobre Evaluación de la Ciencia” [Declaration on Research Assessment] o DORA, de acuerdo a sus iniciales. Un documento de recomendaciones para la evaluación de la actividad investigadora ya sea a nivel institucional o a nivel individual.  Nace de la American Society for Cell Biology que reunió a finales del pasado año, a distintos editores de revistas científicas y grupos editoriales para elaborar el documento. Entre las editoriales y asociaciones que suscriben el documento se encuentran la American Association for the Advancement of Science (AAAS) que edita la prestigiosa revista Science, o Embo Journal, perteneciente al grupo Nature Publishing. Es decir, palabras mayores.

El documento surge fruto de la preocupación creciente por el mal uso que hacen del Factor de Impacto las numerosas agencias de evaluación en los distintos procesos de selección de personal investigador, concesión de becas, proyectos de investigación, etc. El problema radica en la equiparación que hacen las agencias entre la calidad de las revistas y la calidad de los artículos (entendida como el impacto derivado de las citas científicas). Se destaca la necesidad de utilizar indicadores a nivel de artículo y no a nivel de revista y, aunque se reconoce la importancia del artículo científico como el principal producto científico, también se enfatiza la necesidad de evaluar otro productos como sets de datos científicos o la elaboración de software. Finalmente, ofrece una serie de recomendaciones específicas a los distintos actores involucrados: entidades financiadoras, instituciones, editores, agencias evaluadoras e investigadores.

En mi opinión hay dos puntos especialmente reseñables en este documento, que marcan claramente la postura de los científicos: 1) la inclusión de datasets como productos evaluables y 2) la animadversión hacia el Factor de Impacto. Respecto al primer punto, la importancia de compartir los datos de investigación no sólo por su posible reutilización sino también con la idea de dotar de mayor transparencia a la ciencia, es más que palpable, especialmente tras el reciente lanzamiento de Scientific Data, por parte de Nature.

En cuanto al segundo punto, me resulta especilmente llamativo. Y es que está tan manido el indicador y ha sido tan pobremente utilizado por parte de las agencias evaluadoras que produce un odio recalcitrante entre los investigadores, tal y como refleja el duro editorial que Science le dedica. El problema que le veo a este documento es que se convierte en una inquina focalizada en este indicador en concreto, al no llegar a prescindir del resto de indicadores que evalúan la calidad de las revistas. En efecto, a las revistas les recomienda en primera instancia, lo siguiente:

Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

Lo que supone no prescindir del uso de estos indicadores para la evaluación de la actividad investigadora, sino trasladar el problema hacia otros indicadores. También recomienda el uso de indicadores a nivel de artículo o article-level metrics, del tipo de los que se incluyen en la revista PLOS One. Y es que el problema no es del Factor de Impacto, sino de una visión simplista y superficial de los indicadores bibliométricos. Una denuncia que se echa bastante de menos.

¿Qué tienen en común la Eugenesia y la Bibliometría?

El origen de la Bibliometría y la Eugenesia están estrechamente entroncados en la figura de Sir Francis Galton (1822-1911), que ha pasado a la historia no sólo por ser primo de Charles Darwin y ferviente defensor de su teoría de la evolución, sino también por llevarla hasta extremos radicales, siendo uno de los principales instigadores del movimiento de la Eugenesia. Este movimiento defiende la mejora de la raza humana mediante la manipulación de los rasgos hereditarios. Para ello, considera que para conseguir la mejora de la raza es necesaria y deseable la supresión o extinción de aquellos seres considerados como inferiores.

Partiendo de la idea de que son unos pocos los que sustentan la mayor parte del progreso científico (luego reforzada por Merton y su efecto Mateo y empíricamente testada por Lotka), Galton consideraba que el talento era una característica innata en el ser humano. No obstante, existían distintos niveles en función de la brillantez del individuo. Por tanto, diferenció entre genios, personas ilustres y personas eminentes.  Además, determinó que el número total de genios que había existido en la historia de la Humanidad hasta el momento, rondaba las 400. Igualmente, la proporción de personas ilustres era de una por cada millón de habitantes  y la proporción de personas eminentes, de 250 por cada millón.

De este modo, determinó que el mejor proxy para medir el talento de las personas era la reputación de las mismas y mediante una serie de análisis basados esencialmente en aspectos reputacionales, concluyó que el número de personas talentosas o genios estaba descendiendo. Así pues, quedaba establecida una idea que luego retomó Price y que ha prevalecido en el mundo bibliométrico, esto es, la relación entre el reconocimiento científico o la reputación (citas) y la capacidad investigadora de los científicos.

Más información

Bailón-Moreno, R., Jurado-Alameda, E., Ruiz-Baños, R., Courtial, J.P. & Jiménez-Contreras, E. (2007). The pulsing structure of science: Ortega y Gasset, Saint Matthew, fractality and transfactality. Scientometrics, 71(1), 3-24.

Godin, B. (2007). From Eugenics to Scientometrics: Galton, Cattell, and Men of Science. Social Studies of Science, 37(5), 691-728.

Gorraiz, J., Gumpenberger, C. & Wieland, M. (2011). Galton 2011 revisited: a bibliometric journal in the footprints of a universal genius. Scientometrics, 88(2), 627-652.

Breve crónica personal del ESSS

La semana pasada tuve la suerte de asistir a la tercera edición del European Summer School for Scientometrics, celebrado en Lovaina (Bélgica). Cinco días de inmersión bibliométrica escuchando a algunos de los investigadores más importantes de la disciplina. Aunque con cierto desnivel tanto entre los alumnos como en las ponencias, pudimos hacer una rápida revisión en diversos aspectos tanto teóricos como prácticos de la disciplina. Así pues, el curso quedó dividido en dos días de conferencias, en los que ahondamos en los fundamentos teóricos e históricos de la disciplina, y tres días de seminario en los que nos dedicamos a trastear herramientas y jugar con datos.

 El primer día estuvo enfocado a los orígenes de la disciplina como tal y a exponer los distintos tipos de indicadores bibliométricos existentes. Entre los conferenciantes cabe al outsider Nicola de Bellis (autor de Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics) que nos introdujo desde una perspectiva histórica en la disciplina, mostrándonos a base de pinceladas, los principales hitos científicos que asentaron las bases de la bibliometría. Otro de los ponentes más interesantes fue D. deβ Beaver, autor de los primeros trabajos sobre colaboración científica a finales de los setenta (primera, segunda y tercera parte), quien en una caótica y divertida presentación, nos presentó la evolución en la colaboración científica de la small science a la big science de Price y cómo las motivaciones para la colaboración habían ido variando a lo largo del tiempo. Por último y acabando con la parte teórica, me pareció de bastante interés la intervención de Anthony van Raan que incidió especialmente en el tema del impacto dependiendo no sólo de las disciplinas, sino también dentro de las mismas entre la vertiente más básica y la más aplicada (por ejemplo, medicina clínica) y cómo es necesario establecer diferentes umbrales de citación dependiendo de las mismas.

En el apartado práctico, cabe reseñar la alocada y divertida clase de Olle Persson quien nos enseñó a utilizar de primera mano su archiconocido software para bibliometría Bibexcel y su interacción con Pajek. Por último, destacar la omnipresente participación y entusiasmo de Wolfgang Glänzel y Juan Gorraiz, organizadores (entre otros) de este curso a los hay que dar la enhorabuena por el trabajo y el esfuerzo que supone organizar un curso de estas características.

¡A palos con el cuentapalotes!

Acabo de toparme con un artículo que me ha dejado de piedra: “Bibliometrics and the brain dead”, ahí es nada. El artículo es de Ian M. Johnson, editor de la revista Libri y al que al parecer, no le “mola” mucho eso de que le manden estudios de corte bibliométrico a su revista. Se ve que los trabajos de este tipo que recibe no tienen muy buena pinta, más propios de Amateur Bibliometrics, y eso le indigna. Y mucho.

It appears that knowledge has moved on very little in that time – and much less than might be expected given the volume of bibliometric activity and the existence of at least one international conference focused on it.

La crítica, cuando es fundamentada, siempre es saludable y necesaria. Y en este caso, el autor no está exento de razón, pero las formas fallan estrepitosamente. Una cosa son las simpáticas advertencias de Tomás Baiget en Iwetel cada vez que anuncia un nuevo número de El Profesional de la Información, y otra cosa es  la rabieta incontrolable del que refleja en su juicio, su frustración personal. Además es curioso, parece que sólo se hace mala investigación en el campo de la Bibliometría, teniendo en cuenta que se trata de una sub-disciplina muy marginal de la Biblioteconomía, esto sería hasta loable. Pero ya puestos en faena, el autor acaba arremetiendo con todo el que se pone por delante: formación, profesión, investigación…

Should these failings be attributed to the pattern of professional education in countries in which librarians have little or no education in anything other than professional subjects, and/or in which so-called professional education is task-oriented rather than exploring the purpose of libraries and emphasizing the policies that assure their success?

No deja títere con cabeza y es que parece que en el campo de la Biblioteconomía y la Documentación no tenemos peor enemigo que nosotros mismos, que nos machacamos continuamente señalando y denunciando nuestros defectos con fiereza y sin aplaudir los éxitos como si estos no existieran o fueran fruto del azar.

Amateur bibliometrics

Durante mis cada vez más frecuentes inmersiones como embedded librarians veo más y más los estragos que está produciendo en muchos profesores la obsesiva actividad evaluadora que poco a poco va gobernando sus vidas. Muchas veces tengo la sensación de que el trabajo que tengo que realizar tiene más que ver con el coaching que con la bibliometría, cual Mourinho intentando quitarles la presión de encima e intentando mantener una actitud a medio camino entre el apremio y la cautela. Y es que la necesidad de cumplir unos criterios que (justos o injusto) no se entienden, están adulterando el comportamiento de los investigadores que más allá de centrarse en sus investigaciones, se centran en rellenar huecos y crean frustraciones que llevan a actitudes como esta.

Pero más allá de las limitaciones del sistema de evaluación actual, sobre lo que aquí querría reflexionar aquí es sobre la proliferación de malas prácticas bibliométricas y de las falsas concepciones que se tienen, consecuencia precisamente de este afán evaluador. El problema radica en la falsa premisa de que cualquiera puede realizar pequeñas incursiones bibliométricas sin tener necesariamente conocimiento previo sobre el tema. Ello lleva a conclusiones disparatadas, basadas en metodologías (si es que realmente hay alguna) llenas de gazapos y errores. En este sentido, es especialmente interesante leer el capítulo de libro “The Social Constructivism of Bibliometric Evaluations”, el cuál hace una interesante reflexión sobre estas prácticas que abundan no sólo a nivel individual, sino también a nivel institucional. Además, apunta directamente a la causa de la proliferación de estas prácticas:

Funding agencies […] often request the submission of journal impact factors or citation counts for the publications contained in the inves- tigators’ CVs, thus forcing applicants to conduct amateur bibliometrics

El cambio de imagen que ha sufrido la Bibliometría en las últimas décadas ha hecho que el péndulo oscile desde el total escepticismo a una peligrosa aceptación sin reservas, paradójicamente ignorando a los expertos en la materia que no paran de alertar del riesgo que supone actuar así.