Dr. F. Javier Rojo. Coordinador del Área de Ciencia y Tecnologías Químicas del CSIC (Sevilla)

Los investigadores estamos sometidos al denominado proceso de revisión por nuestros pares (peer review). De hecho, puede decirse que somos el colectivo que más veces es evaluado a lo largo de la vida profesional, es prácticamente una evaluación continua hasta la jubilación. La promoción dentro de la carrera investigadora, el acceso a fondos para investigar (proyectos financiados), los contratos de personal, la financiación para infraestructura, por poner algunos ejemplos, todo pasa irremediablemente por una evaluación de los investigadores implicados que compiten por acceder a estos fondos. Este hecho se ha acentuado notablemente al aumentar la competitividad existente para tener acceso a los escasos recursos disponibles. Esta evaluación se basa fundamentalmente en el curriculum vitae (CV) del investigador donde deben estar recogidos todos los logros del mismo. Llevar a cabo esta evaluación es siempre una tarea ardua y compleja ya que existen numerosos factores a analizar. De hecho, no hay una fórmula única ni infalible para poder seleccionar a los mejores, aunque sí es cierto que hay un buen número de parámetros (indicadores) que nos pueden facilitar esta tarea. [1] Los famosos indicadores de productividad y de calidad, una lista, no cerrada, de indicadores que no deja de crecer con el objetivo de ser más eficiente, de que no se pase por alto ningún parámetro importante y de que la evaluación sea lo más acertada y justa. ¿Pero es esto posible?

El número de publicaciones, el factor de impacto, el número de artículos en revistas del primer cuartil (Q1), el número de artículos como primer autor o autor de correspondencia, el número de citas, y más recientemente el famoso índice h o de Hirsch, [2] todos ellos son indicadores que facilitan la tarea del evaluador y en definitiva, forman parte ya de nuestro CV, siendo nuestra tarjeta de visita. Uno puede ir actualizando su CV añadiendo las nuevas publicaciones, proyectos financiados conseguidos, etc. Esto no supone un trabajo complejo y tampoco son tantas las contribuciones a añadir o que cambien de forma diaria. Sin embargo, algunos indicadores que cada vez van cobrando más relevancia, sí que lo hacen, como el número de citas totales o el número de citas de cada artículo, indicativos del impacto de nuestra investigación. Por lo tanto, para tener un CV actualizado debería revisarse de forma continua estos datos. El boom de las tecnologías informáticas ha facilitado el acceso online a la información en cualquier momento y desde cualquier punto del planeta disparando el desarrollo de herramientas informáticas para el acceso a los indicadores bibliométricos. Estos indicadores están disponibles actualmente en las diferentes bases de datos que contienen toda esta información. Hace no tanto tiempo existía únicamente una base de datos donde buscar, Institute for Scientific Information (ISI) actualmente denominada Web of Science (WoS) que incluía el Citation Index. Dado el interés e importancia de tener acceso a esta información han surgido nuevas bases de datos como Scopus, Google Scholar, ResearchGate, etc. cada una con sus ventajas e inconvenientes que no se entrará a discutir aquí.

A la vista de todas estas herramientas, parece fácil para cualquiera acceder a toda la información que buscamos con un solo click. El problema surge cuando uno se apellida Gómez, Rodríguez, etc., e introduce el nombre en las bases de datos y aparecen miles de entradas, de las cuales, solo unas cuantas pertenecen al investigador en cuestión. Aunque hay algunos filtros que se pueden usar, la tarea es compleja y lenta, y el resultado final no siempre es óptimo y menos, cuando un evaluador tiene que analizar decenas de CVs en poco tiempo. Para solventar este problema, se han creado diferentes identificadores (IDs) y ya existen IDs para las bases de datos actuales. Quizás el más conocido es el ORCID (Open Researcher and Contributor ID) [3] aunque también existen otros como el Researcher ID, empleado en WoS. [4] ¿En qué consisten estos identificadores?. Cada investigador solicita un número identificador único al que va asignado toda su productividad, descartando aquellas contribuciones que aparecen con el mismo nombre pero que no le pertenecen. De esta forma, introduciendo dicho ID en la base de datos correspondiente, obtenemos de forma inmediata todas aquellas contribuciones (y la información disponible relativa a las mismas como el número de citas, índice h, etc.) que corresponden al investigador. No hay base de datos única y cada una tiene valores diferentes, ya que se alimentan de fuentes distintas, por eso, estas bases de datos tienen sus valedores y detractores, lo que nos obliga a tener un ID por cada base de datos. Esperemos que en un futuro exista un único ID que sea como nuestro DNI científico al que vaya asociado cada una de nuestras contribuciones científicas. Lo que sí es cierto es que este ID es de gran ayuda para el evaluador. De hecho, ya se solicita en muchos sitios para identificar las contribuciones de un investigador, como así ocurre actualmente en las solicitudes de proyectos del Plan Estatal donde ya hay una casilla específica en el CV abreviado para indicar el número ORCID. Con ese número y un click en la base de datos correspondiente el evaluador tienen acceso a toda la información del investigador que se está evaluando. La pregunta es, ¿y con esto tenemos ya todas las herramientas necesarias para evaluar a un investigador? Obviamente no.

Nunca se debe considerar una evaluación como la suma aritmética del valor que se dé a los indicadores de productividad. Hay otros factores muy difícilmente cuantificables y que pueden marcar una gran diferencia. Por ejemplo, un descubrimiento puntual que supone una contribución singular, excepcional y de gran impacto para la humanidad ¿Qué puntuación se le puede dar a esto? ¿A cuántas publicaciones de alto impacto del Q1 puede equivaler? Otro gran problema es establecer unos valores y distribución de pesos únicos para cada indicador y para todas las disciplinas. En cada área o sub-área de conocimiento, un indicador puede tener más peso que otro. Por ejemplo, no tiene el mismo peso como contribución un libro completo en Ciencias Humanas y Sociales que en Biomedicina. Tampoco es igual la valoración de las citas de libros en Humanidades (citas a más largo plazo) que de un artículo científico en Física (citas de forma más inmediata).

Tampoco el famoso índice h es la panacea, [5] aunque ya hay muchos que lo utilizan como indicador de excelencia casi único. Ojo con su utilización como único parámetro de evaluación. Hay investigadores que han recibido el premio Nobel y no tienen un índice h mayor que otros que no lo han recibido. A la pregunta ¿es un índice h de 40 alto? La respuesta debería ser: todo es relativo, habría que considerar el número total de artículos, los años de investigación, las autocitas, etc. Lo que no podemos hacer nunca es fijarnos en un único indicador porque podemos extraer conclusiones erróneas. Es necesario verlo todo en conjunto para tener una visión global y más cercana a la realidad. Por ejemplo, si nos fijamos únicamente en el índice de impacto (IF) de la revista diríamos que un artículo en la prestigiosa revista Science (IF= 33,61) es mucho más importante que un artículo en otra revista de menor impacto como el Chemical Comunications (IF= 6,83). Sin embargo, si consideramos también el número de citas recibido, la cosa podría cambiar. El artículo seminal de Brust [6] publicado en Chemical Communications en 1994 ha recibido en 20 años 2171 citas; sin embargo, el artículo de Jackson [7] publicado en Science en ese mismo año ha recibido solo 196 citas. ¿Qué artículo es de más impacto?

Cuando nos movemos en los extremos, la cosa está clara. Con todos los indicadores muy altos, lo normal es que el investigador haya alcanzado la excelencia, si son todos bajos, es justo el caso contrario. Pero qué pasa cuando no hay una homogeneidad en los indicadores, (unos son altos pero otros no). Ahí está el quid de la cuestión y la importante labor del evaluador para extraer la información importante dentro de un contexto (temática) determinada para establecer qué parámetros son los que desequilibran la balanza hacia un lado u otro.

En resumen, todas las herramientas ayudan pero al final, es el conocimiento y el buen criterio del evaluador el que toma la última decisión.

[1] Pablo Espinet Rubio, Perversiones, Paradojas y traumas en la evaluación científica. An. Quim. 2006, 102(4), 60-63.

[2] J.E. Hirsch, An index to quantify an individual's scientific research output. Proc. Nat. Acad. Sci. USA, 2005, 102(46), 16569-16572.

[3] Consol García Gómez, “Orcid: un sistema global para la identificación de investigadores. El profesional de la información, 2012, marzo-abril, v. 21, n. 2, pp. 210-212.

[4] Ángel Borrego, Sistemas de identificación unívoca de investigadores. Informe original disponible en: http://hdl.handle.net/2072/212854.

[5] José Elguero, ¿Es malo publicar mucho? o El problema de optimizar una función, An. Quim. 2010, 106(2), 112-113.

[6] M. Brust, M. Walker, D. Bethell, D.J. Schiffrin, R. Whyman, J. Chem. Soc., Chem. Commun., 1994, 801-802.

[7] D.Y. Jackson, J. Burnier, C. Quan, M. Stanley, J. Tom, J.A Wells, Science 1994. 266, 243-247.