A+ A-

Revista: La evaluación de la investigación


La evaluación como elemento clave para el camino hacia la excelencia en los centros de investigación

Por muchas y diferentes razones, ya hace años que la evaluación de los investigadores en algunas instituciones o agencias de financiación se basa casi únicamente en indicadores bibliográficos.

  • Michela G. Bertero

  • Centre for Genomic Regulation (CRG), The Barcelona Institute of Science and Technology, Barcelona, España. Universitat Pompeu Fabra (UPF), Barcelona, España

  • Luis Serrano

  • Centre for Genomic Regulation (CRG), The Barcelona Institute of Science and Technology, Barcelona, España. Universitat Pompeu Fabra (UPF), Barcelona, España. ICREA, Pg. Lluís Companys 23, Barcelona, España

La excelencia de un centro de investigación 

¿Qué es la excelencia de un centro de investigación? Es muy difícil contestar a esta pregunta. Un centro excelente no solo hace ciencia competitiva y de calidad, sino que además debe tener otros objetivos (Figura 1). Estos centros deben ofrecer: 1) un entorno creativo, abierto y estimulante que promueva la colaboración y ofrezca a los científicos tecnologías, infraestructuras y servicios de apoyo de calidad; 2) medios y expertos para facilitar la transferencia de sus conocimientos y tecnologías a la sociedad; 3) políticas que promuevan la integridad científica, la ética, la igualdad, la inclusión y la diversidad, así como programas de formación y desarrollo profesionales; 4) programas para facilitar la interacción y el diálogo con la sociedad; y finalmente, 5) una cultura y procesos de autocrítica, con la participación de un consejo científico asesor de expertos internacionales, y una evaluación externa para asegurar una mejora continua. Además, es importante que el centro fomente el sentido de pertenencia y el de compromiso entre todo su personal, desde la administración hasta los investigadores juniors y seniors. Finalmente, un centro de excelencia tiene que ejercer un liderazgo que signifique un estímulo para el ecosistema de investigación e innovación, colaborando con otros centros, universidades y actores, como la industria y los responsables de políticas científicas. 

 

 

LA EVALUACIÓN DE UN CENTRO DE INVESTIGACIÓN

La evaluación es un elemento clave para que un centro pueda identificar sus fortalezas y debilidades, redirigir o desarrollar nuevos objetivos y seguir avanzando en su camino hacia la excelencia, posicionándose tanto a nivel nacional como internacional. 

 

La evaluación de un centro de investigación puede tener diferentes objetivos: 

  • Confirmar o redefinir la misión y visión del centro, sus áreas estratégicas y/o su organización
  • Mejorar la calidad de sus resultados científicos, la atracción de talento y/o las actividades estratégicas. 
  • Rendir cuentas a sus financiadores, órganos de gobierno y a la sociedad en general de forma responsable. 
  • Obtener acreditaciones específicas para acceder a financiación o a servicios especiales. 
  • Recibir financiación en función de los resultados alcanzados. 

En función de los objetivos, es fundamental que los resultados de las evaluaciones se lleven luego a la práctica, tengan consecuencias, y que haya un seguimiento del progreso e hitos alcanzados a lo largo de los años. 

 

Diferentes actores pueden promover la evaluación de un centro de investigación. Tal como se ha dicho anteriormente, es importante que los mismos centros impulsen procesos de autoreflexión y evaluación. Las agencias de financiación, las administraciones públicas o los órganos de gobierno pueden también poner en marcha procesos de evaluación en los centros. 

 

En todos los casos, la evaluación tiene que seguir los principios de objetividad, transparencia y calidad, y tiene que llevarse a cabo con el apoyo de un panel de expertos independientes en las áreas de investigación y actuación del centro, evitando cualquier conflicto de interés. Es fundamental que el panel esté bien informado sobre el funcionamiento del centro, que tenga claros los objetivos de la evaluación y los criterios en el contexto específico de la misión y visión del centro, su antigüedad, los recursos financieros disponibles y las normas administrativas nacionales. Los informes de los evaluadores deben ser compartidos con las personas evaluadas y estas tienen que poder reclamar si piensan que la evaluación no es adecuada. El centro debe también responder a los comentarios de los evaluadores y explicar cómo va a implementar las recomendaciones. 

 

¿QUÉ ASPECTOS HAY QUE EVALUAR DE UN CENTRO DE INVESTIGACIÓN? ANTE TODO, LA CALIDAD DE LA CIENCIA...

La calidad de la ciencia y de los investigadores es seguramente un aspecto clave a evaluar. Y en este punto, es importante abrir una reflexión sobre cómo evaluamos la calidad de la ciencia. 

 

Desafortunadamente, por diferentes y múltiples razones, ya hace años que la evaluación de los investigadores en algunas instituciones o agencias de financiación se basa casi únicamente en indicadores bibliográficos, como el factor de impacto de las revistas donde se publica, el índice h o el número de citaciones. El factor de impacto fue desarrollado en los años 70 por Eugene Garfield para medir la calidad de las revistas científicas y ayudar a las bibliotecas a tomar decisiones sobre qué revista comprar. Por tanto, este indicador, no mide realmente el impacto que tienen los investigadores y sus publicaciones individuales5,6.

 

La Declaración de San Francisco sobre la evaluación científica, conocida como DORA, desarrollada en 2012 durante la reunión anual de la Asociación Americana de Biología Celular, fue una de las primeras iniciativas mundiales que puso en evidencia la necesidad de revisar y cambiar el sistema de evaluación de los investigadores por parte de las agencias de financiación, las instituciones y los mismos grupos de investigación. DORA subraya la relevancia de usar indicadores cuantitativos de forma responsable, de eliminar el factor de impacto de los sistemas de evaluación de la ciencia, además de considerar el valor y el impacto de toda la producción científica, no sólo teniendo en cuenta las publicaciones sino también los datos, el software creado u otros resultados como la creación de empresas de innovación. DORA también subraya la necesidad de evaluar el contenido científico de las publicaciones, sobre todo en el caso de los investigadores que están en sus primeras etapas de la investigación. A día de hoy, más de 2.200 instituciones y más de 17.000 investigadores han firmado DORA, comprometiéndose con ello a implementar las distintas recomendaciones. Cabe destacar que este año la Agencia Española de Investigación (AEI) también se ha adherido oficialmente a DORA, comprometiéndose a revisar todas sus convocatorias y documentos de soporte a la evaluación. 

 

 

Otras iniciativas relacionadas con este tema son el Manifesto de Leiden (2015), el informe “Metric Tide” en UK (2015) o la publicación de un grupo de expertos comisionado por la Comisión Europea sobre “Next Generation Metrics” (2017) en el marco de su política de ciencia abierta – “Open Science”. En el marco de la Conferencia Internacional sobre Integridad Científica se formularon también los cinco principios de Hong Kong (2019). Estos incluyen, entre otros, la evaluación responsable de los investigadores, la promoción de la ciencia abierta y el reconocimiento de múltiples actividades (como participación en la evaluación por pares y mentoring), con el objetivo específico de promover los perfiles que fortalecen la integridad de la investigación. 

 

 

Más allá de las firmas de declaraciones y manifiestos, lo importante ahora es poner en marcha acciones y nuevas iniciativas. Instituciones como la universidad UCL (University College London) o la agencia Wellcome Trust en el Reino Unido, han definido en detalle las acciones que los centros tienen que implementar para evaluar a sus investigadores de forma responsable y justa, siguiendo sobretodo dos principios clave de la Declaración DORA: 1) los criterios de evaluación tienen que ser transparentes, claros y explícitos para todos los actores implicados, subrayando que el contenido de una publicación es más importante que el título o el factor de impacto de la revista donde está publicado, y 2) es necesario reconocer el valor de toda la producción científica, no solamente las publicaciones sino también el software, los protocolos, los datos, etc., así como otras contribuciones para la formación y desarrollo profesional de jóvenes investigadores o el impacto producido en nuestra sociedad y en las políticas científicas. 

 

…además hay otros aspectos que son relevantes para un centro de investigación 

Como comentamos anteriormente, son múltiples los elementos que contribuyen a la excelencia de un centro de investigación. La evaluación es como un puzle donde hay que tener en cuenta el encaje de las diferentes piezas. En este contexto es interesante el documento publicado en 2019 por las instituciones de investigación y agencias de financiación en Holanda, “Room for everyone´s talent”, un compromiso para crear un ecosistema que reconozca la diversidad del talento en investigación, promueva una diversificación de carreras investigadoras, reconozca el mérito del individuo pero también la colaboración y el trabajo científico en equipo y dé más importancia a la calidad y al contenido de la ciencia en lugar de a sus indicadores cuantitativos, y finalmente que promueva la ciencia abierta y el buen liderazgo en todos los niveles profesionales. 

 

 

 

Consecuentemente, en el 2020, las principales agencias de financiación holandesas revisaron el protocolo de evaluación de sus unidades de investigación (incluyendo universidades, así como centros de investigación, “Standard Evaluation Protocol”, SEP, 2021-2027). El protocolo SEP define la modalidad de evaluación de las unidades de investigación por un comité de expertos cada seis años. Primero, el comité valora un informe de auto-evaluación de la unidad que incluye una narrativa de hitos pasados (acompañado de indicadores y ejemplos concretos) y la visión para los siguientes seis años. Después, efectúa una visita presencial a la unidad, con el fin último de mejorar la calidad, la relevancia social y la viabilidad de la investigación en dicha institución. Un aspecto relevante de este protocolo es su fl exibilidad – el protocolo se aplica teniendo en cuenta los objetivos y la estrategia de la unidad, su entorno, así como las características específicas de la disciplina o disciplinas de la unidad. Además de los tres principales criterios de evaluación – calidad de la investigación, relevancia social y viabilidad –, hay cuatros aspectos que las unidades tienen que cumplir, demostrando sus hitos y planes futuros: 1) la ciencia abierta, que incluye compartir datos y publicaciones así como involucrar a diferentes actores; 2) las políticas de formación de estudiantes de doctorado; 3) la cultura académica y de integridad científica y, por último, 4) las políticas de recursos humanos que promueven la diversidad y el desarrollo del talento. En el marco de una evaluación responsable, además, los resúmenes de autoevaluación y del informe del comité de expertos se hacen públicos a toda la sociedad. 

 

 

EL PROGRAMA SEVERO OCHOA PARA CENTROS Y UNIDADES DE EXCELENCIA

En España, el programa Severo Ochoa, que posteriormente fue expandido al programa Maria de Maeztu para los departamentos de las universidades, nació con el objetivo de identificar los mejores centros y unidades de investigación de España, para apoyarlos con una financiación anual de un millón (Severo Ochoa) o medio millón de euros (Maria de Maeztu) durante cuatro años, con el fin de poder mejorar su competitividad internacional. Este programa ha tenido un gran éxito no sólo por el apoyo financiero que ha permitido a estos centros y unidades lanzar nuevas iniciativas como programas internacionales de doctorado, nuevas oficinas de transferencia de tecnología o apoyo a los servicios científico técnicos, sino porque ha obligado a muchos centros a crear planes estratégicos donde la excelencia es el objetivo principal.

 

Sin embargo, la evaluación de los centros y unidades para conseguir el sello de excelencia tiene una primera etapa de elegibilidad basada únicamente en los indicadores bibliométricos de algunos investigadores, lo que sigue estando bajo discusión, sobre todo porque no tienen en cuenta las diferencias entre disciplinas, y penaliza a los investigadores que publican también en revistas que no se consideran de excelencia, penalizando la carrera de los investigadores más junior. Por otro lado, la segunda etapa de evaluación incluye un panel de evaluadores externos que evalúa los logros pasados, acompañados de ejemplos concretos e indicadores, así como la visión de futuro, refl ejada en un plan estratégico. 

 

En todos los casos, el programa ha marcado un antes y un después en la ciencia española estimulando a los centros y departamentos de Universidades a ser más competitivos. 

 

Es importante que el gobierno dé al programa la importancia que merece, continuando con el trabajo de revisar el sistema de evaluación y creando dos subprogramas, uno que apoye a los centros líderes del país que acreditan el nivel de excelencia requerido para que aumenten aún más su competitividad, y el otro para apoyar a aquellos centros que quieren acceder a ese nivel de excelencia. Es además importante que haya un continuo intercambio de buenas prácticas, conocimientos y talento entre los centros si queremos fortalecer sustancialmente y de manera generalizada la ciencia española. 

 

 

ÚLTIMAS REFLEXIONES

Como hemos mencionado al principio, a la hora de evaluar un centro de investigación es muy importante tener en cuenta múltiples factores: los objetivos y estrategia, los recursos de los que dispone, la autonomía en sus contrataciones, las finanzas, los procedimientos y operaciones, el sistema donde está inmerso y su evolución en el tiempo. 

 

Es también importante considerar que las evaluaciones por comités de expertos —que es el estándar internacional reconocido en el sistema de investigación— son procesos costosos y que requieren una inversión de tiempo y recursos humanos considerable. Por ello, es esencial evitar evaluaciones redundantes e intentar que sean lo más eficientes posible. 

 

Igualmente importante es que los centros tengan la responsabilidad de poner en práctica las recomendaciones de la evaluación y seguir evaluando el progreso en su camino hacia la excelencia.

 

Desde DORA hacia otras iniciativas, algunas presentadas en este artículo, estamos viviendo años de discusión y de cambio, yendo hacia una cultura de evaluación responsable que pone el enfoque en la calidad más que en la cantidad (sin que perjudique la carrera de jóvenes investigadores) y que promueve los valores de equidad, de diversidad, de ciencia abierta y de colaboración. Muchos son todavía los retos, así que es fundamental intercambiar buenas prácticas y difundir los buenos (o malos) ejemplos a nivel internacional, para que la comunidad científica global aprenda de ellos y asuma conjuntamente estos cambios para conseguir una ciencia de excelencia y de impacto para nuestra sociedad. 

 

Agradecimientos por una lectura crítica del artículo: 

Natalia Dave, Joaquim Calbó, Marta Agostinho, Luciano Di Croce, Pia Cosma, Vivek Malhotra, Juan Valcárcel, Ben Lehner, Reyes Romero.

 

PARA LEER MÁS

Informe de la Alianza Europea EU-LIFE, “Key elements for excellence in Research” (2016): https://eu-life.eu/sites/default/files/2019-10/KeyElementsResearch_EULIFE.pdf.

Informe de la Agencia de Calidad y Evaluación Sanitarias de Cataluña “Guide to the evaluation of R&D institutes” (2007): https://www.aqu.cat/ doc/doc_17975947_1.pdf.

Erin C McKiernan, Lesley A Schimanski, Carol Muñoz Nieves, Lisa Matthias, Meredith T Niles, Juan P Alperin Meta-Research: Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. eLife (2019);8:e47338. DOI: 10.7554/eLife.47338.

Diana Hicks,Paul Wouters,Ludo Waltman,Sarah de Rijcke, Ismael Rafols Bibliometrics: The Leiden Manifesto for research metrics. Nature (2015) 520, 429–431, DOI:10.1038/520429a.

Informe “The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management Report” (2015), https://doi.org/10.13140/RG.2.1.4929.1363.

Informe por el grupo de expertos de la Commision Europea NextGeneration Metrics: Responsible Metrics and Evaluation for Open Science (2017): https://ec.europa.eu/research/openscience/pdf/report.pdf. 

 


¿Te ha gustado este artículo? Compártelo en las redes sociales: