A+ A-

Revista: La evaluación de la investigación


Sistemas de evaluación de la investigación: cambio de paradigma

Los sistemas de evaluación de la investigación están concebidos para identificar a los mejores expertos para puestos de investigación, financiar los mejores proyectos y definir asignaciones presupuestarias para organismos de investigación. 

  • Lidia Borrell-Damian

  • Secretaría General de Science Europe

Los sistemas de evaluación de la investigación están concebidos para identificar a los mejores expertos para puestos de investigación, financiar los mejores proyectos y definir asignaciones presupuestarias para organismos de investigación. Los métodos de evaluación tienen que garantizar la excelencia científica y los organismos dedican mucho tiempo y esfuerzos en establecer criterios y protocolos para evaluar los trabajos de investigación. En esta área, como en todas las demás áreas de nuestras sociedades, las tecnologías digitales están cambiando las formas en que se concibe, realiza, comunica, evalúa y se utiliza la investigación.

 

El movimiento Open Science (Ciencia Abierta), que tiene como objetivo hacer que los resultados de la investigación, los productos y las herramientas necesarias estén disponibles de forma gratuita para otros investigadores y para el público en general, también está influyendo en la evaluación de los sistemas de evaluación. Con el progreso de las tecnologías digitales, Open Science facilita el intercambio rápido y en tiempo real de conocimientos entre científicos, lo que abre una plétora de nuevas posibilidades de información científica, además de los tradicionales libros y artículos revisados por pares. Versiones originales previas a la revisión por pares (preprints), resultados preliminares, software, ideas de investigación, todo se puede intercambiar más rápido que nunca. Además, la tecnología está ampliando la gama de resultados académicos y formatos de publicación valorados por los investigadores, incrementa la producción de nuevos conocimientos disciplinarios e interdisciplinarios y favorece la aparición de plataformas digitales donde la información científica está disponible de forma ubicua si se tiene la posibilidad de acceder a ella.

 

INFLUENCIA DE LOS SISTEMAS DE PUBLICACIÓN EN LA EVALUACIÓN DE LA INVESTIGACIÓN

Dado que los sistemas de evaluación de la investigación estiman la excelencia de los resultados de las investigaciones y las publicaciones, los sistemas de publicación académicos tienen una gran influencia en los procesos de evaluación. El sistema de publicación académica que predomina actualmente se basa en un método bastante lineal, construido progresivamente durante los últimos 60-70 años. Así, un trabajo científico es: i) revisado por pares; ii) publicado en una revista por un editor académico; y iii) recibe una calificación numérica basada en el Factor de Impacto de la Publicación ( JIF, en sus siglas en inglés) y otros factores relacionados con el autor. El resultado es un sistema de evaluación compuesto por indicadores que miden indirectamente (“proxy”) la calidad del trabajo, pero no son una medida del mérito propio mismo. El JIF se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar publicaciones para su adquisición, no como una medida de la calidad científica de un artículo. Sin embargo, resultó práctico utilizarlo como métrica para facilitar la evaluación de los investigadores en la promoción profesional y en la asignación de fondos. El desarrollo de indicadores más complejos como el “índice h” y otros factores relacionados con el autor, es una forma de abordar las limitaciones del sistema de indicadores métricos y de medir más integralmente la calidad del investigador, teniendo en cuenta la producción y el impacto de sus publicaciones durante un cierto período de tiempo. 

 

En general, los modelos de evaluación basados exclusivamente en métricas “proxy” están en crisis hoy en día, ya que se consideran demasiado reduccionistas para ofrecer una evaluación justa. De hecho, muchas comunidades científicas y redes especializadas están solicitando un cambio en la forma en que se evalúan y se reconocen los resultados de la investigación. Hay muchas iniciativas loables, algunas a nivel europeo y mundial (recogidas en el informe RoRi, 2020). Todas tienen en común que promueven un cambio del actual predominante “círculo virtuoso”, mediante el cual los resultados de la investigación se miden mediante métricas indirectas que impulsan los ejercicios de evaluación de la calidad, a otro “círculo virtuoso” donde se evalúa directamente la calidad científica de un trabajo por parte de pares. Algunos se refieren a este cambio como la “recuperación de la soberanía académica” sobre el proceso de evaluación de la investigación.

 

Las limitaciones del actual sistema están identificadas desde hace mucho tiempo. Es en este contexto en el que la Declaración DORA (2012) promovió la eliminación de los sistemas métricos, como JIF, y su reemplazo por sistemas que evalúen los trabajos de investigación por sus propios méritos. Sin embargo, la implementación práctica de los principios DORA está lejos de ser fácil. Por ejemplo, en Europa, solo el 15% de las universidades en 2019 aplicaban DORA en sus evaluaciones, y muchas señalaron la falta de medios y la falta de sistemas alternativos como las principales razones para seguir usando los sistemas tradicionales (Informe EUA 2019).

 

 

Hoy en día, se discute mucho sobre la gama de resultados académicos y formatos de publicación que se tendrían que considerar en las evaluaciones (además de los tradicionales libros y artículos). También se discute sobre cómo avanzar hacia sistemas de evaluar la investigación basados, por ejemplo, en narrativas comprensivas. Al abordar el cambio de paradigma a un modelo de evaluación centrado en la calidad intrínseca de los trabajos de investigación, es necesario analizar las condiciones de los sistemas de investigación. Los retos son múltiples y están vinculados a aspectos académicos, financieros, institucionales, de infraestructura y políticos. Aunque todos estos aspectos son importantes y están interrelacionados, los aspectos académicos son básicos: los investigadores necesitan acceso a publicaciones y datos científicos para realizar su trabajo, necesitan infraestructuras de investigación, capacitación técnica y un marco justo de políticas que apoye al investigador en todas las etapas del proceso de investigación —desde el concepto hasta los resultados y la preservación de los mismos. Más o menos directamente, todas estas condiciones influyen en la excelencia de los resultados de la actividad investigadora, por lo que tiene sentido que muchos investigadores propongan utilizar las métricas solo como información complementaria, y afirmen que los méritos científicos propios de su trabajo deben ser el principal criterio de evaluación.

 

A nivel mundial, hay varias iniciativas trabajando hacia este nuevo marco. Un gran ejemplo en tiempo real es el desarrollo de la Recomendación de la UNESCO sobre ciencia abierta https://en.unesco.org/science-sustainablefuture/open-science/recommendation, debatida entre el 6 y el 12 de mayo de 2021, y que se espera que sea adoptada a principios de 2022. Además, a nivel mundial, la expresión “evaluación responsable de la investigación” (ERR) ha surgido como un término que designa métodos de evaluación que incentivan, reflejan y recompensan las características plurales de investigación diversas e inclusivas (informe RoRi, 2020). Junto a DORA, el informe RoRi recopiló otras catorce iniciativas que están liderando la discusión y el panorama de los procesos de evaluación de la investigación a nivel mundial. Una de las 15 iniciativas son las Recomendaciones sobre procesos de evaluación de la investigación de Science Europe (2020), que se consideran un hito clave en fomentar las oportunidades de mejorar los procesos de evaluación de la investigación.

 

RECOMENDACIONES SOBRE PROCESOS DE EVALUACIÓN DE LA INVESTIGACIÓN

Tras un estudio exhaustivo de los procesos de evaluación nacionales, en su mayoría europeos, se determinaron siete recomendaciones clave (Figura 1). Estas recomendaciones surgieron de las propias reflexiones que las organizaciones participantes hicieron sobre sus procesos de evaluación y teniendo en cuenta los muchos desafíos a los se enfrentan, tales como la cantidad limitada de financiación disponible, el alto grado de competencia entre los científicos (que lleva al dilema de “publicar o perecer”) y la carga de trabajo para los investigadores y evaluadores.

 

Las siete recomendaciones promueven la transparencia en todas las etapas de los procesos de evaluación (1), e invitan a las organizaciones de investigación a evaluar periódicamente el resultado de sus propios procesos (2). Proponen a las organizaciones que presten atención a posibles prejuicios, discriminación y trato injusto (3); y a que trabajen para racionalizar de costes y esfuerzo por parte de los solicitantes (4). También proponen a las organizaciones de investigación ampliar sus criterios de selección de evaluadores y a reconocer adecuadamente su contribución (5). Las recomendaciones invitan a centrar las evaluaciones científicas en el contenido académico y a tener en cuenta una gama más amplia de resultados en la actividad investigadora (6). Finalmente, proponen realizar pruebas piloto con nuevos sistemas de evaluación y compartir experiencias para mejorar (7). Varios ejemplos de organizaciones que siguen una o más de estas recomendaciones están disponibles en (Ver QR 1 adjunto):

 

 

Las recomendaciones de Science Europe complementan otras iniciativas similares como la Declaración de San Francisco sobre Evaluación de la Investigación (DORA, 2012) y el Manifiesto de Leiden (Hicks et al. 2015).

 

POLÍTICAS QUE RESPALDAN LA CONSERVACIÓN DE LOS DERECHOS DE AUTOR

Como se indicó anteriormente, el intercambio de información entre investigadores es esencial para el progreso de la ciencia. Los investigadores deben tener un marco de políticas que les permita intercambiar información libremente a través de sus propias redes de pares, o utilizarlas con fines educativos. Esto requiere que los autores o sus instituciones conserven los derechos de autor de sus publicaciones y datos. Una iniciativa pionera a nivel mundial, que promueve la retención de los derechos de autor por parte de los autores o sus instituciones, es cOAlition S, una organización basada en los 10 principios del Plan S (2018), desarrollados por un conjunto de miembros de Science Europe y otras once organizaciones internacionales, están aplicando estos prinicpios desde enero de 2021. Cada organización a desarrollado sus propias normativas, aunque alineadas conforme a un conjunto de directrices. Estas incluyen, entre otras, la retención de derechos de autor para los investigadores, para que puedan publicar sus manuscritos en la revista de su elección y, a la vez, cumplir con los prinicipios DORA, así como la ampliación de la gama de resultados académicos y sus formatos de publicación para ser incorporados en los sistemas de evaluación.

 

 

LOS SISTEMAS DE PUBLICACIÓN ACADÉMICA DEBEN EVOLUCIONAR

La mayor inversión en investigación por parte de muchos gobiernos y organizaciones filantrópicas en todo el mundo ha llevado a una cantidad también creciente de revistas académicas, persiguiendo todas ellas un prestigio que les otorgue un JIF alto. Esto ha permitido, por un lado, la concentración de revistas en manos de unas pocas grandes editoriales académicas que dominan las condiciones del mercado de publicaciones académicas. Por otro lado, ha permitido la generación de muchas más revistas, muchas de ellas manejadas por las propias comunidades académicas, y que permanecen relativamente excluidas de las prácticas de Open Acess. Un estudio reciente de COAlition S y Science Europe investigó este sector, con la intención de proporcionar a este importante colectivo una voz en la evolución del sistema de publicación académica (Ver QR 2, 3 adjuntos).

 

 

El papel de la Comisión Europea (CE) ha sido clave en el fomento del Open Acess desde 2012. La experiencia piloto de Open Acess de la CE para resultados de investigación financiados con fondos públicos en el Séptimo Programa Marco, supervisada por OpenAire, ha evolucionado hasta la política actual de European Partnerships, que requiere Open Acess completo a las publicaciones de investigación. Esta política respalda todas las rutas Open Acess, en consonancia con cOAlition S, al tiempo que favorece la plataforma de investigación abierta para proyectos financiados por la UE (Ver QR 4 adjunto).

 

 

En cuanto al acceso a los datos de investigación, el desarrollo de la European Open Science Cloud (EOSC), que comenzó en 2016, coordinado por la Comisión Europea (hoy una de las European Partnerships del programa Horizonte Europa) es un desarrollo único a nivel mundial. Tiene por objetivo generar una federación de infraestructuras con el fin de facilitar el intercambio de datos de investigación, su interoperabilidad y su preservación sostenible. La EOSC promueve el acceso a datos FAIR (localizables, accesibles, interoperables y reutilizables). Los esfuerzos de muchos se ponen en práctica: la European Partnerships incluye a todos los gobiernos de la UE y de los países asociados, así como a numerosas organizaciones dedicadas a la investigación y la innovación, incluidas universidades, infraestructuras de investigación, investigadores, editores, patrocinadores de investigación y proveedores de servicios de datos.

 

OBSERVACIONES FINALES

Está bastante admitido que los sistemas de evaluación de la investigación deben seguir evolucionando a la luz de la evidencia que muestra las limitaciones de los actuales sistemas. A su vez, el sistema de publicaciones académicas debe evolucionar de manera que apoye el desarrollo justo de métodos de evaluación y evite condicionarlos. A medida que avanzamos hacia la creación de un nuevo paradigma de evaluación de la investigación basado en las cualidades científicas propias de los resultados de la investigación, la comunidad investigadora debe tomar la iniciativa y velar para que los procesos de evaluación sean más apropiados, justos y transparentes, y que proporcionen educación y capacitación adecuadas para la actividad investigadora. Es de suma importancia que, en este proceso, los valores esenciales de la actividad investigadora estén integrados en todas las etapas del proceso. La calidad y la integridad de la investigación, la igualdad de los investigadores y la transparencia de los procesos de investigación son valores promovidos por Open Science y deben ser respaldados por todos los gobiernos y partes interesadas. 

 

Muchos aspectos de los sistemas de evaluación de la investigación de hoy en día están sujetos a los criterios actuales por los cuales la investigación, los investigadores y los centros de investigación son reconocidos, incentivados y recompensados. Es necesario reevaluar el concepto de la calidad y la excelencia de la investigación, y los criterios que de ellos derivan. Las iniciativas mencionadas en este artículo son ejemplos de procesos comprometidos con la generación de culturas de investigación saludables. Para hacer que estas evolucionen de manera sensata, se necesita una acción concertada entre investigadores, organizaciones de investigación, editores, organizaciones de financiación y gobiernos. Necesitamos mejores mecanismos para trabajar juntos hacia nuevos modelos y paradigmas de evaluación de la investigación.


¿Te ha gustado este artículo? Compártelo en las redes sociales: