Mayte López Ferrer. Unidad de Recursos de Información Científica para la Investigación. Delegación del CSIC (Valencia) |   |
Introducción general: la evaluación de la actividad científica a través de las publicaciones
La bibliometría se limitaba originalmente a la recopilación de datos sobre el número de artículos científicos y otras publicaciones, clasificados por autor, por institución, por área de la ciencia, por país, etc., con el fin de construir indicadores simples de productividad de la investigación científica. Posteriormente, se desarrollaron indicadores más sofisticados y multidimensionales basados en citas en los artículos y también en las patentes. Los índices de citas resultantes y los mapas de la ciencia construidos a partir de los análisis de co-citación se utilizan tanto para obtener medidas más sensibles de la calidad de la investigación así como para trazar el desarrollo de las disciplinas científicas (1). Actualmente la disciplina tiene múltiples líneas de trabajo: se siguen desarrollando nuevos indicadores de impacto, se estudia el fenómeno de la colaboración científica mediante el análisis de redes sociales a partir de la coautoría en los trabajos, se incorporan nuevos indicadores de uso basados en la web 2.0, etc.
La bibliometría tiene su principal aplicación en las actividades de evaluación de la ciencia. La utilización de indicadores bibliométricos para evaluar la actividad científica descansa en la premisa de que las publicaciones son el resultado de la investigación y que, por lo tanto, de la observación, análisis y evaluación de sus publicaciones podemos inferir la situación de la actividad científica. De la misma manera que utilizamos el Producto Interior Bruto per cápita para valorar la riqueza de un país, utilizamos las publicaciones científicas como proxy de la ciencia en sí misma. Sin embargo conviene recordar que la ciencia es compleja y dinámica, tiene ciertos inputs, tiene otros outputs, e incluye múltiples procesos. La disponibilidad y materialidad de las publicaciones ha permitido que las actividades de evaluación científica descansen en gran medida en la extracción de indicadores exclusivamente bibliométricos.
Los investigadores y las instituciones como sujetos de las actividades de evaluación científica, perfiles y rankings
De un tiempo a esta parte, el desarrollo de las interfaces de las bases de datos de citas y otras herramientas relacionadas con la búsqueda de publicaciones científicas, Google Scholar entre otras, tienden a facilitar la extracción de indicadores bibliométricos a nivel individual, generando una corriente de autoevaluación científica en la que, a menudo, el CV de un investigador se ve sustituido por algunos indicadores calculados a partir del conjunto de publicaciones contenidos en la fuente de datos escogida, que lamentablemente no suele ser exhaustiva. Es posible obtener, por ejemplo, de las distintas bases de datos el índice H; o es bastante común la utilización del FI (factor de Impacto) como un indicador para calificar autores cuando se desarrolló originalmente para calificar revistas.
Las plataformas de perfiles de investigadores que han ido surgiendo en los últimos años pretenden crear un registro único de investigadores y una herramienta que permita identificar unívocamente a los autores y sus trabajos de investigación. Obviamente una herramienta así proporcionaría múltiples subproductos que son de interés para la comunidad científica: generar CVs actualizados de manera inmediata, identificar expertos en cualquier línea de investigación, fomentar nexos de colaboración entre investigadores, obtener indicadores bibliométricos a distintos niveles de agregación basados en distintas características clasificatorias de los perfiles de los investigadores, etc.
Entre estos directorios de investigadores destaca ORCID: Open Researcher and Contributor ID (2) por ser una iniciativa no comercial, pero que incluye representantes de todos los actores científicos (investigadores, universidades, laboratorios, organizaciones de investigación comercial, agencias financiadoras, editores, asociaciones profesionales, etc.), aunque también existen otras como IraLIS: International Registry for Authors Links to Identify Scientists (3); Google Scholar Citations (4) y Academic Search (5) propuestas por motores de búsqueda en internet; o Researcher ID (6) y Scopus Author Identifier (7) propuestas respectivamente por Thomson Reuters y Elsevier, productores de las bases de datos que son fuentes hegemónicas de datos para análisis bibliométricos. En otros trabajos publicados en el presente número de Enredadera se explica en profundidad la necesidad de que nuestros investigadores mantengan actualizados sus perfiles en estos directorios.
Por lo que respecta a las instituciones, la tendencia en la evaluación y comparación de instituciones científicas es la construcción de rankings que ordenan a las instituciones que califican en una clasificación ordenada según su preeminencia en función de un indicador compuesto. El cálculo de este indicador compuesto es diferente en cada caso, aunque siempre incluye múltiples factores relacionados con la docencia, la investigación, las citas, y la aportación al sistema Ciencia, Tecnología, Sociedad. De la docencia se observan, entre otros, el prestigio del profesorado (premios Nobel, por ejemplo), y el ratio de solicitudes por plaza entre el alumnado; de la investigación se contempla el volumen (productividad científica), la capacidad de atracción de financiación, etc.; de las citas se incluyen los indicadores bibliométricos relacionados con el factor de impacto; y en cuanto a la contribución al CTS se suelen contabilizar las patentes y otros indicadores de transferencia de tecnología y conocimiento. Sin ánimo de ser exhaustivos, mencionaremos entre las iniciativas más relevantes a nivel internacional: Academic Ranking of World Universities (ARWU) o ranking de Shanghai (8), THE ranking (Times Higher Education) (9), QS Quacquarelli Symonds Ranking (10), Leiden Ranking del CWTS (11), y U-Map (12) y U-Multirank (13) de (EHEA-ERA).
Existen otras iniciativas que también persiguen una evaluación multifactorial de las instituciones de investigación pero para las que la reducción a un único indicador que les permita la presentación de los resultados en forma de ranking no es un objetivo. Los factores que analizan son en gran parte coincidentes, dentro de este tipo están, por ejemplo, Snowball Metrics de Elsevier (14) o Altmetric (15).
En el panorama nacional destaca en esta línea de trabajo el Ranking Mundial de Universidades en la Web del Laboratorio de Cibermetría del CSIC (16), cuyo objetivo fundamental es promover la publicación en la web académica mediante el apoyo a las iniciativas de acceso abierto, por lo que su fuente principal de datos es Google Scholar. Completando el panorama nacional están las iniciativas de las unidades o servicios de bibliometría de las universidades españolas y otras instituciones de investigación, en algunos casos dependientes de la correspondiente biblioteca universitaria y en otros casos de los vicerrectorados de investigación, que recopilan la producción científica de sus instituciones matriz y construyen, a partir de los datos, indicadores multifacéticos de rendimiento de sus instituciones. Destacaremos los ejemplos notables de ConCiencia en el CSIC, el portal FUTUR en la Universitat Politècnica de Catalunya, o UGRinvestiga en la Universidad de Granada.
Estas iniciativas se distinguen en cuanto a las fuentes de información de las que se recaban los datos. Algunas generan (de forma delegada, generalmente lo hacen los propios autores) bases de datos propias en las se recopila la producción científica de la institución. Otras se nutren de bases de datos bibliográficas ajenas, ya sean comerciales (Web of Science / Scopus) o gratuitas (Google Scholar).
Las bases de datos propias pueden ser diseñadas a medida y se hacen servir para otros fines: repositorios de acceso abierto, cálculo de incentivos al personal, generación automática del CV, inclusión de otras actividades relacionadas con la investigación en la misma plataforma que no son publicaciones (proyectos de investigación, patentes, docencia, transferencia de tecnología, dirección de tesis y tesinas, etc.). Entre sus desventajas se cuentan su cumplimentación irregular, poca homogeneidad de datos y por lo tanto poca calidad, problemas de interoperabilidad con otros sistemas, y escaso o nulo reconocimiento de los indicadores que producen al margen de la propia institución. No sirven, por lo tanto, para evaluar a la institución en su contexto.
Los sistemas cuya recogida de datos descansa en bases de datos bibliográficas ajenas, ya sean comerciales o no, tampoco están exentos de problemas. En este caso entre sus desventajas se cuentan los consabidos problemas de sesgo y cobertura, y la complejidad de descargar y manipular grandes volúmenes de datos sin contravenir las licencias de uso de sus fuentes. Sin embargo los indicadores generados, siempre y cuando se hagan públicas las metodologías empleadas sirven para evaluar a la institución en su contexto nacional e internacional y tienen rigor científico.
La iniciativa del catálogo de indicadores bibliométricos de la URICI en el CSIC
Teniendo en cuenta este marco general, la Unidad de Recursos de Información Científica para la Investigación(URICI)viene trabajando desde el último año en un proyecto relacionado que permite, por un lado, proporcionar datos bibliométricos adaptados a los actores implicados en la investigación y su financiación: investigadores, gestores de proyectos, directores científicos, coordinadores de área, etc., es decir, satisfacer una necesidad patente de indicadores de actividad científica. Y, por otro lado, incluir servicios de valor añadido en las bibliotecas del CSIC, lo que es un resultado natural a partir de diversos procesos de automatización y centralización, la aplicación de planes de formación del personal, etc. que nos abocan a una continua redefinición de la profesión para seguir ocupando un espacio esencial en una organización cuya actividad principal es la generación de conocimiento.
El catálogo de indicadores bibliométricos está pensado como un sistema global de indicadores de la actividad investigadora del CSIC. Y tiene la vocación de prestación de servicio a distintos niveles en toda la institución, por ejemplo, tiene que ser capaz de facilitar a los gestores y representantes argumentos objetivos sobre el rendimiento de la actividad del CSIC, y a la vez tiene que facilitar a los investigadores los procesos de acreditación de su actividad y rendimiento, y la concurrencia competitiva para la captación de financiación (ANECA, CENAI, convocatorias Severo Ochoa y María de Maeztu, sucesivas convocatorias del Plan Estatal I+D+I, etc).
Incluye la construcción de un sistema de recolección y difusión de información con carácter acumulativo y en continua actualización. En cuanto a los indicadores a recopilar, se parte de una selección de indicadores imprescindibles, proporcionados de manera directa o con una mínima manipulación por las principales bases de datos de citas y sus correspondientes índices de revistas, es decir, WoS-JCR y Scopus-SJR. Es un proyecto working progress, ya sabemos, por ejemplo, que será necesario en sucesivas fases incluir nuevas fuentes de datos que cubran de manera más satisfactoria todas las áreas científicas; o que las propias convocatorias de financiación de la investigación importantes para nuestros centros pueden justificar la inclusión de nuevos indicadores y sus cálculos asociados. Finalmente, también será necesario contemplar otro tipo de indicadores, concretamente, aquellos que tienen en cuenta el impacto en las redes sociales de los trabajos. La idea es, en la medida de lo posible, ser proactivos en la explicación de nuestra actividad y contribución a la sociedad y no reactivos frente a los sistemas de evaluación a los que se somete la ciencia.
La validez de los datos del catálogo de indicadores bibliométricos es clave para su explotación dentro y fuera del CSIC y está basada en la reproducibilidad, tanto de la obtención de sus datos fuente en bases de datos comerciales, como del cálculo de los indicadores proporcionados. La reproducibilidad es, como sabemos, uno de los pilares básicos de la metodología científica. En nuestro caso además será la garantía para acumular año tras año datos siguiendo los mismos criterios que construyan series temporales coherentes.
Para su explotación serán necesarias actividades de difusión y formación a usuarios y facilitadores, que deberían ser, en el mejor de los casos, los bibliotecarios de los centros.
Evidentemente, la situación ideal para la prestación de un servicio sobre indicadores bibliométricos por parte de una biblioteca a su centro es que éste cuente con los recursos humanos pertinentes. Esto ya sucede en algunos de nuestros centros (es posible leer en este mismo número de Enredadera diversas experiencias en la sección En Directo), es de esperar que el catálogo de indicadores sirva más a aquellos centros que todavía no contemplan estos servicios dentro de sus prestaciones. Se pretende que los datos se sirvan desde la intranet para su explotación por los bibliotecarios de los centros de la red de bibliotecas del CSIC.
El sistema tiene al menos dos limitaciones importantes a tener en cuenta: una son las restricciones que imponen las empresas distribuidoras de las bases de datos de donde se toman los datos en origen en cuanto a la publicación de grandes volúmenes de estos datos; y la segunda es que, en previsión de usos perversos del sistema, es necesario adecuar el nivel de agregación de datos según quienes sean los destinatarios y utilizadores de los indicadores bibliométricos. Ambos temas son manejables desde nuestra intranet.
El proyecto, en su punto de partida, ha supuesto el trabajo y la experimentación de un equipo reducido de personas, pero convertir un proyecto piloto en una herramienta útil que preste su servicio en todos los institutos del CSIC requiere del conocimiento y la experiencia de muchos otros actores de la red de bibliotecas del CSIC lo que permite realizar muchas tareas de manera distribuida, para lo que se espera encontrar flexibilidad y coordinación.
Para que sea utilizado, explicado y completamente comprendido, cualquier sistema de recopilación de indicadores de actividad científica debe contar con expertos de las distintas áreas científicas sometidas a análisis, es decir, los indicadores bibliométricos complementan el mecanismo básico del peer review. Finalmente, y como se mencionaba al comienzo de este texto, las publicaciones son solo un proxy de una actividad más amplia y compleja que es la investigación científica, por lo que en el futuro debemos aspirar a incorporar a cualquier sistema de recogida de datos para evaluación científica otros elementos que complementen estos indicadores.
Bibliografía
1. Fundación Española para la Ciencia y la Tecnología. Manual de Frascati, 2002: medición de las actividades científicas y tecnológicas : propuesta de norma práctica para encuestas de investigación y desarrollo experimental. [Madrid: Fundación Española Ciencia y Tecnología; 2003.
2. ORCID [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: http://orcid.org/
3. IraLIS | International Register of Authors of Library and Information Science [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: http://www.iralis.org/es
4. Ayuda de las Citas de Google Académico [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: https://scholar.google.es/intl/es/scholar/citations.html
5. Microsoft Academic Search [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: http://academic.research.microsoft.com/
6. ResearcherID.com [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: http://www.researcherid.com/
7. Scopus Author Identifier [Internet]. [citado 18 de noviembre de 2015]. Recuperado a partir de: http://help.scopus.com/Content/h_autsrch_intro.htm
8. Ranking Académico de las Universidades del Mundo | 2015 World University Rankings [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.shanghairanking.com/es/
9. Home | Times Higher Education [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: https://www.timeshighereducation.com/
10. Top Universities | Worldwide university rankings, guides & events [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.topuniversities.com/
11. CWTS Leiden Ranking 2015 - Home [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.leidenranking.com/
12. Umap [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.u-map.org/
13. U-Multirank | U-Portal [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.u-portal.org/u-multirank/
14. Snowball Metrics [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.snowballmetrics.com/
15. Altmetric - We Make Article Level Metrics Easy. [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.altmetric.com/
16. Bienvenido a Ranking Web de Universidades | Ranking Web de Universidades [Internet]. [citado 17 de noviembre de 2015]. Recuperado a partir de: http://www.webometrics.info/es
 |  |