Enredadera, nº 34, febrero 2020
Participantes: Ismael Ràfols (INGENIO-CSIC) y Javier Perona (IG-CSIC) |   |
Se da paso a la siguiente Mesa que tiene por título Evaluación científica en un contexto abierto: Nuevas métricas e indicadores para la Ciencia Abierta, presentada por María Isabel Sanabria Caro del Instituto de la Grasa y que dará paso a los dos ponentes, Ismael Ràfols del Instituto de Gestión de la Innovación y del Conocimiento, y Javier Perona, investigador del Instituto de la Grasa.
INDICATOR FRAMEWORKS, BETWEEN UNIVERSAL INDICATORS AND FULL CUSTOMIZATION. A PROPOSAL FOR ASSESSING RESEARCHERS’ ENGAGEMENT WITH OPEN SCIENCE
Ismael Ràfols (INGENIO-CSIC)
Comienza su exposición Ismael Ràfols con una presentación que tiene por título Indicator frameworks, between universal indicators and full customization: A proposal for assessing researchers’ engagement with Open Science.
En ella nos contó su participación en un Grupo de Expertos de la Comisión Europea cuyo objetivo es la búsqueda de nuevos indicadores que puedan facilitar la Ciencia Abierta ya que lo principales indicadores que se utilizan hoy en día, factor de impacto y citaciones, son un obstáculo para el desarrollo de la misma.
El problema principal es cómo, dada la gran diversidad de actividades que se pueden asociar a la Ciencia Abierta, reducir el creciente número de indicadores a unos pocos que sean utilizados en todos los países de la Unión Europea en contextos y disciplinas tan diferentes.
La solución no es dar unos indicadores prefijados y rígidos sino un marco de indicadores para que en contextos específicos se decida cuáles pueden ser los más pertinentes para llevar a cabo una evaluación que no debe hacerse solo con los indicadores.
A su juicio el principal problema en España con los sistemas de evaluación es que se centran en los indicadores no en las cualidades, en plural, de la investigación.
Continuó su exposición con un breve repaso a la teoría de la evaluación en la que se da especial importancia a saber para qué se quiere dicha evaluación y cuáles son los objetivos de la misma. Solo tras tener claro ese primer concepto se pueden definir criterios específicos que serán los que determinen los indicadores que representen esos criterios.
Vistos desde la teoría de la evaluación los sistemas de evaluación que se vienen siguiendo actualmente son una barbaridad.
Otro aspecto importante que resalta es que los indicadores bibliométricos que se vienen utilizando sirven para las ciencias naturales, pero no en otros campos más vinculados a las humanidades como pueden ser la educación, contribución social, etc.
La crítica a los usos y abusos de la bibliometría ha sido puesta en evidencia en manifiestos como la Declaración de San Francisco, el Manifesto Leiden o The Metric Tipe, donde se enfatiza la necesidad de abandonar los métodos tradicionales de evaluación.
Al respecto de estas iniciativas enfatiza la importancia de cuestionarse cuál es la misión de la evaluación en Ciencia Abierta dada la enorme diversidad de campos que abarca y para no discriminar sectores importantes de la misma. Para ello, a la hora de evaluar, hay que analizar todos los aspectos de la misma, con toda la diversidad de actividades que implica y hay que presta especial atención a la calidad de los procesos de comunicación y en las interacciones de los mismos.
Ante esta gran diversidad su opinión es que no se pueden desarrollar indicadores universales de ahí la propuesta de elaborar marcos de indicadores de los que se deben escoger unos poco para evaluar los distintos contextos y disciplinas.
Y modo de resumen su conclusión es que, si bien reconoce la importancia de la evaluación en Ciencia Abierta, la solución no es sustituir unos indicadores problemáticos por otros igualmente problemáticos sino en replantearse para qué queremos y qué significa la evaluación lo que llevaría a una evaluación contextualizada.
Finaliza su presentación con una reflexión sobre la posibilidad de tener Ciencia Abierta en sociedades en la que no hay información abierta. Tras poner varios ejemplos internacionales hace hincapié en casos más cercanos, como nuestro país, donde el Gobierno esta misma semana decide que podrá cerrar página web sin prerrogativa judicial.
Desde la evaluación hay que plantearse hasta qué punto ciertas prácticas burocráticas sirven realmente para llevar a cabo una cultura evaluativa realmente abierta o por el contrario sirven a estados burocráticos que permiten la represión de la libertad de expresión o pensamiento.
Enlace a la presentación de la ponencia.
CIENTÍFICOS: EL ENGRANAJE DE UN GRAN NEGOCIO
Javier Perona (IG-CSIC)
Javier Perona, investigador del Instituto de la Grasa, nos aportará en la presentación que lleva por título Científicos: el engranaje de un gran negocio, la visión, ácida y cargada de humor, de un científico sobre las publicaciones científicas y las métricas e indicadores que se utilizan para evaluarlas.
La primera impresión que nos transmite es que, desde su punto de vista personal, la gran mayoría de los científicos llevan muchos años en la inopia, mientras que ellos estaban en las nubes otros aprovechaban para enriquecerse y hacer negocio utilizando para ello el producto de su trabajo. Por ello no es extraño que los investigadores se sientan como parte de un engranaje perfectamente engrasado que hacen funcionar, pero del que son incapaces de salir.
Para explicar cómo se ha podido llegar a esta situación hace un breve repaso a la creación de las primeras grandes editoriales, desde Robert Maxwell y la creación de Pergamon Press, pasando por Eugene Garfield, creador del ISI, el Science Citation Index y el Factor de impacto.
Personajes que cambiaron por completo el modelo editorial científico hasta convertirlo en lo que hoy conocemos, uno de los negocios más lucrativos que existen. Y, en consecuencia, también cambiaron los investigadores: comenzó la lucha por publicar en las mejores revistas iniciándose el mantra tantas veces repetido: publish or perish, el que no publica se muere. Hecho que se agrava con la creación del índice H a principios del nuevo siglo: ahora ya no solo están indexados las revistas, también lo están los científicos.
A medida que avanza este siglo parece el paradigma empieza a cambiar, los investigadores cada vez son más conscientes de esta situación y comienzan a escucharse voces discordantes a la vez que surgen iniciativas como Almetrics, la Declaración de San Francisco o el Manifiesto de Leiden, que cuestionan los sistemas de evaluación imperantes.
Paralelamente aparece el movimiento Open Access, y lo que parecía algo positivo acaba convirtiéndose en otro coste más para los investigadores.
La situación actual empeora si se tiene en cuenta el demencial crecimiento de las revistas y de las publicaciones científicas. Es tal el volumen que los autores son incapaces de leer los artículos relacionados con su campo de investigación, se estima que entre el 12 y el 83% de los artículos publicados nunca son citados, y muchos de los citados realmente no han sido leídos.
Y a pesar de todo, las agencias evaluadoras siguen haciéndolo con unas métricas que sabemos que no funcionan. El ejemplo que puso a continuación fue bastante clarificador: el propio Peter Higgs, padre del famoso Bosón, declaro no hace mucho que si a él lo hubiesen evaluado con los métodos actuales nunca hubiera sacado plaza por no ser productivo.
1) Reducir la presión por publicar, tratando de que prime la calidad por encima de la cantidad
2) Desmercantilizar la ciencia, ya que hoy en día ya existen los medios para deshacerse de la esclavitud de las editoriales.
3) Detener la industrialización de la ciencia, ya que ésta no funciona bien con las dinámicas y la lógica empresarial.
4) No exigir productividad inmediata, a la ciencia hay que darle tiempo.
Finalizó su presentación haciendo una reflexión sobre un refrán conocido por todos: la paciencia es la madre de la ciencia, y con el sistema actual, semejante a una olla a presión se ha cometido un matricidio. Es el momento de liberarse de esa presión y volver a hacer ciencia por el mero hecho de crear nuevo conocimiento ya que esa es la ciencia que nos hace más humanos.
Empezó el turno de preguntas en el que la primera en intervenir fue la investigadora María Paz Martín suscribiendo por completo lo relatado por Javier Perona y haciendo una reflexión sobre la labor que realiza como evaluadora, al participar en tribunales de oposiciones, y en la que es plenamente consciente de que tiene que utilizar las métricas de las que se ha venido hablando, pero no basar la evaluación únicamente en dichas métricas.
La siguiente en intervenir fue otra investigadora que resalta la relevancia de los temas tratados en las ponencias en incide en el tema de los peer review recordando que la magnitud de los artículos que hay que leerse es tan grande que los indicadores actuales pueden servir como filtro y si se cambia el paradigma cuestiona cómo se puede salvar el obstáculo de la masificación de papers.
Interviene Javier Perona afirmando que efectivamente existe un problema no solo con las evaluaciones sino también con el peer review ya que cada vez hay más artículos y menos revisores a causa del hartazgo de los investigadores. Relató a modo de anécdota la decisión que personalmente él había tomado respecto a la revisión de artículos: de igual modo que las editoriales cobran APCs, cada vez que él recibe un manuscrito para revisar procede a enviar sus tarifas de ARCs (Article Reviewing Charges), que desveló tras ser inquirido por Agnès Ponsati.
Insistió en lo absurdo del sistema de evaluación actual y señaló que el camino a seguir debe aproximarse a lo explicado por Ismael Ràfols o a lo que defiende el Manifiesto de Leiden.
Aprovechó para intervenir Ismael Ràfols, que se mostró de acuerdo con Perona en que en buen punto de partida serían los principios que representa la Slow Science, y enfatizó la importancia de resistirse a la burocracia que implican las evaluaciones que se están haciendo hoy en día, poniendo como ejemplo las evaluaciones que se hacen a los centros de investigación anualmente. Aboga por hacer mucha menos evaluación y mejor hecha, más a fondo, dejando en el aire para finalizar una última cuestión: no nos podemos preguntar para qué evaluamos sin plantearnos para qué sirve el conocimiento que estamos generando.
Enlace a la presentación de la ponencia.
Enlace a la grabación de la mesa.
 |  |