A+ A-

Revista: La evaluación de la investigación


Encuesta a investigadores del área de Biociencias sobre la Evaluación de la Investigación

Para tener una visión de la opinión de los investigadores, se invitó a un grupo reducido de ellos (12) a contestar a dos preguntas sugeridas por el Dr. Vicente Rubio. La mayor parte de los investigadores pertenecen al área de las Biociencias y han participado en comités de evaluación tanto naciones como internacionales.


CUESTIONES

 1. ¿Qué le parece el compromiso de un gran número de agencias de financiación de no evaluar sobre la mera base del factor de impacto y de publicar en abierto?

 2. ¿Qué indicadores o procedimiento de  evaluación recomendaría?

 

JESÚS ÁVILA

Profesor Ad-honorem CSIC

 1. Estoy de acuerdo en no evaluar solo por el factor de impacto de la revista. Hay otros factores, como por ejemplo las situaciones del propio trabajo(s). Lo de la publicación en abierto ya se hace y/o está en estudio por algunas editoriales. Sin embargo, lo evaluado y publicado en revistas de alto impacto tiene mas visibilidad. La visibilidad actualmente afecta mucho a la ciencia.

 

 2. Que los evaluadores sepan del tema a evaluar y que se lean los trabajos, aunque solo sea un resumen. Lo importante es que el trabajo sea original y esté bien hecho. Esto es lo evaluable.

 

MARIANO BARBACID

Cátedra AXA-CNIO de Oncología Molecular.

Centro Nacional de Investigaciones Oncológicas (CNIO).

 1. Hay que contemplar dos aspectos distintos. Estoy a favor de publicar en abierto trabajos científicos, siempre que hayan sido evaluados por revisores siguiendo el procedimiento clásico. La revisión científica por pares, por mucho que a veces podamos no estar de acuerdo con los comentarios de los revisores, es esencial. Las publicaciones en abierto o en repositorios de trabajos que no han seguido este proceso de evaluación, solo se pueden clasificar como “blogs”, no como publicaciones científicas. 

 

Respecto al factor de impacto es innegable que existe una cierta “tiranía” que nos obliga a intentar publicar en las revistas con mayor índice de impacto, pues muchas veces el futuro de un investigador, sobre todo si es joven, va a depender más de “donde publique” que “de lo que publique”. Aún así, creo que las agencias evaluadoras, sin tomar al pie de la letra el dato frio del índice de impacto de la revista, que a veces es “manipulado” simplemente reduciendo en numero de papers que publican, si que deberían de tener en consideración la percepción que en general tiene la comunidad científica de la calidad de las revistas.

 

 2.  En un extremo del espectro imagino a una computadora que evaluara los proyectos en base al índice H del PI y en la suma del índice de impacto de sus publicaciones de los últimos 5 o 10 años. 

 

En el otro extremo, tenemos agencias como el ERC donde un numero limitado de proyectos son evaluados por un amplio panel de evaluadores de reconocido prestigio. Si bien no hay evaluación “perfecta” (o que satisfaga a todo el mundo) este segundo sistema sería el ideal.

 

Desgraciadamente la realidad es muy distinta y las agencias financiadoras reciben cientos, si no miles de proyectos, por lo que llevar a cabo una evaluación “a la ERC” requeriría un enorme esfuerzo por parte de la comunidad científica.

 

Una alternativa sería prolongar los proyectos de 3 a 5 años de duración para espaciar los procesos de evaluación. Otra alternativa sería dar preferencia en la evaluación a la productividad de los últimos cinco o diez años del PI. De esta forma solo habría que evaluar en detalle los proyectos de los investigadores que empiezan su devenir científico como Pls.

 

 

PAOLA BOVOLENTA

Profesora de Investigación. Centro de Biología Molecular Severo Ochoa (CSIC-UAM)

Miembro del Consejo Científico ERC.

 1. Apoyo aplicar ambos compromisos, pero con sentido común. El IF de una revista no refleja necesariamente la calidad de un articulo concreto y, al contrario, hay trabajos excelentes en revistas con IF medio. Muchas revistas vinculadas a sociedades científicas tienen prestigio, solera y un proceso editorial serio y constructivo detrás, que no necesariamente se ve reflejado en su IF pero que garantiza publicaciones solidas. El IF puede facilitar la valoración inicial, pero hay que evaluar el articulo en si mismo, su solidez y lo que aporta. Lo ideal es publicar en abierto, pero hay que preservar la calidad y el rigor científico y evitar que sea un privilegio de los investigadores o países que mas recursos tienen, algo que todavía no esta resuelto. 

 

 2. Debe primar la calidad y originalidad de las ideas y del proyecto; pero esta claro que la capacidad de ejecución es también fundamental. Un CV que incluya la descripción de las contribuciones científico-técnicas más importantes sería útil. El factor H y el número de citas, considerando “edad científica”, contribución a las publicaciones y el campo de trabajo, también pueden ayudar.

 

MARTA CASCANTE

Profesora de Investigación. Catedràtica de Bioquímica i Biologia Molecular. Universitat de Barcelona.

 1. Me parece una excelente iniciativa esperada desde hace años en la comunidad científica. El factor de impacto (FI) se diseñó para la evaluación de la popularidad de una revista y   no refleja el impacto que tiene una publicación en particular. Puede darse la paradoja de que una publicación, que no haya sido citada, se publique en una revista de alto FI y sea evaluada como excelente, o viceversa, que un trabajo excelente se valore negativamente por publicarse en una revista especializada y por ende de bajo FI. Ligado a este problema está el de que un artículo publicado en acceso abierto será más citado, pero no todos los grupos de investigación pueden afrontar su coste. El acceso abierto debería ir acompañado de medidas que garanticen la igualdad de oportunidades. Además, cabe señalar que algunas agencias, como NIH o el CSIC, actualmente ya obligan a que se valoren los trabajos en función de su impacto en la comunidad, no de la revista. La declaración DORA es muy clara al respecto y creo que va a ser clave en un cambio de paradigma y un impulso hacia la cooperación y la equidad como pilares de la ciencia al servicio de la mejora en la calidad de vida de la humanidad.

 

 2. Obligar a incluir en la publicación la contribución de cada autor y considerarla en la evaluación:

  • Número de citas de la publicación.
  • Evaluar un resumen realizado por el autor en que se indique la contribución de la publicación al avance del área de investigación. 
  • Evaluar las perspectivas que abre un trabajo en su campo de investigación. Para ilustrar este punto, valga comentar que los experimentos clave, que hicieron merecedor a A. Ciechanover del premio Nobel, fueron publicados en la revista BBRC (de bajo FI). 
  • Valorar también las herramientas desarrolladas para el beneficio de la comunidad científica como por ejemplo paquetes de software, bases de datos, revisiones bibliográficas que aportan una discusión crítica, etcétera.
  • La ciencia actual requiere científicos con formación multidisciplinar, por lo que debería valorarse también la capacidad de formar jóvenes científicos en competencias esenciales, como por ejemplo el saber identificar un problema científico de interés y enfrentarse a él adecuadamente, que se pueden potenciar enormemente viendo cómo actúa el mentor.

 

 

MIGUEL ÁNGEL DE LA ROSA

Catedrático de la Universidad de Sevilla. 

Investigador en el Instituto de Investigaciones Químicas.

Expresidente de FEBS y de SEBBM.

 1. Es la decisión más acertada. La ciencia actual vive inmersa en la idolatría al índice de impacto, haciendo de la probabilidad certeza absoluta, lo que es un error de concepto. El índice de impacto es un parámetro estadístico, propio de cada revista, reflejo de la rigurosidad en el proceso de revisión por pares. Es garantía de calidad del conjunto de artículos publicados, pero en absoluto de un artículo o autor. Evaluar la actividad de los científicos en base al índice de impacto es como si un jurado dictara sentencia en función del prestigio de la comisaría de policía que detuvo al acusado, sin entrar a analizar las pruebas aportadas. Las comisiones suelen usar el índice de impacto en aras de la objetividad, pero con frecuencia subyace cierta dejación al eludir la lectura y estudio pormenorizado, el debate y análisis. En todo proceso de evaluación, en definitiva, el índice de impacto se puede —e, incluso, debe— utilizar como elemento orientativo y de ayuda, pero nunca como criterio único.

 

 2. El más habitual hoy es el índice h, que se ha erigido en otro ídolo falso. Incluso existen universidades en España que lo usan para “rankear” a sus profesores. Aparte de su fácil manipulación, el mayor hándicap del índice h es que se trata de un parámetro acumulativo, que no valora tendencias ni liderazgos, resultando frustrante para los jóvenes líderes emergentes, que se ven relegados frente a investigadores más veteranos que nunca han liderado proyectos y/o llevan largo tiempo inactivos. De hecho, la captación de fondos y la proyección internacional son indicadores clave que reflejan reconocimiento e independencia, pero no se recogen en el índice h. Una alternativa es la fórmula “5x5”: cinco “papers” más relevantes en los últimos cinco años. Un evaluador puede estudiarlos y confrontar con otros evaluadores el impacto y la tendencia del investigador. De otro modo, convertimos un ejercicio que requiere alta cualificación profesional en un mero proceso aritmético de carácter administrativo.

 

TERESA GIRÁLDEZ FERNÁNDEZ

Instituto de Tecnologías Biomédicas (ITB).

Profesora en la Universidad de La Laguna (Tenerife).

 1. Me parece muy positivo. Se suma a una iniciativa global que cada vez va cobrando más peso, de tener en cuenta otros indicadores, independientes de la capacidad de predicción del futuro de determinados equipos editoriales, que juzgan “a priori” si un determinado trabajo es “novedoso”, “rompedor”, “único”. El apoyo institucional nos ayuda a combatir el monopolio de ciertas revistas que actualmente tienen un poder enorme sobre nuestros sistemas científicos. Publicar en esas revistas, independientemente de la calidad de esos trabajos, implica la consecución de financiación, puestos de trabajo, etc. Muchos trabajos supuestamente “rompedores” acaban siendo ignorados, no reconocidos o incluso retractados. Al lado de ellos, muchos trabajos publicados en revistas de “impacto medio” o incluso “bajo” han abierto el camino a campos enteros de investigación (tengo en la cabeza Hamill et al, 1981, publicado en Pflugers Arch, citado más de 20.000 veces por todos los electrofisiólogos del mundo…)

 

 2. Está claro que el índice de impacto de las revistas en las que publicamos no es el parámetro que debería definir la calidad de nuestra investigación y carrera científica, como desgraciadamente pasa en gran medida actualmente. La alternativa, sin embargo, no es sencilla. En un mundo ideal, la evaluación la deberían realizar comités especializados que se lean y contextualicen el trabajo de los candidatos a evaluar, y que tengan en cuenta la carrera global del candidato. Hay muchos ejemplos de trabajos tan novedosos y rompedores que necesitan tiempo por parte de la comunidad para ser debidamente reconocidos. De hecho, yo creo que es muy común que los descubrimientos que realmente son impactantes no sean inicialmente bien recibidos. A este respecto, la existencia de entidades científicas dedicadas sistemáticamente a describir los trabajos publicados, quizá en modo de “News&Views”, podría ser un mecanismo para ayudar a entender su importancia en su contexto científico específico, lo cual sería de interés para paneles que fueran menos especializados.

 

CONSUELO GUERRI SIRERA

Fundación Valenciana Centro de Investigación Príncipe Felipe.

 1. Me parece bien, aunque el factor de impacto sirve para juzgar a las revistas y no a sus autores. El índice h es más apropiado para el investigador, pues se refiere a número de citaciones de los trabajos del autor/a. Debe matizarse, para los años de dedicación a investigar y la contribución del autor en cada trabajo. Además, deberían evaluarse también patentes licenciadas y transferencia por otras vías. Habría que disponer de instrumentos automatizados que ayuden y aceleren la evaluación.

 

Es irrebatible la lógica de que la ciencia financiada con dineros públicos debe ser inmediatamente accesible a la ciudadanía. Pero el cambio ha de ser gradual, pues 1) se coloca en situación difícil a los científicos con menos recursos, y 2) se pone en riesgo la actividad de las sociedades de ciencia básica que, como FEBS, la financian con el retorno de sus publicaciones.

 

 2. Yo recomendaría tres indicadores, 1) índice h mejorado como se ha indicado; 2) alineamiento con los objetivos científicos declarados; 3) atención al impacto medio del campo. Va a ser clave desarrollar instrumentos bioinformáticos que permitan una valoración correcta, matizada y rápida, por lo que hay que canalizar recursos al desarrollo de esos instrumentos.

 

JOSÉ MARÍA MATO

Director General de CIC Biogune y CIC Biomagune. 

Ex Presidente del CSIC.

 1. En los años de auge que siguieron a la Segunda Guerra Mundial se hicieron fortunas al comprar a los científicos las publicaciones y expandir el negocio a una escala hasta entonces inimaginable con grandes márgenes de beneficio. En 2020, por ejemplo, los ingresos de RELX, la sociedad de la que forma parte Elsevier, fueron de 7.110 millones de libras y el beneficio antes de impuestos de 1.483 millones de libras. El artículo científico ha pasado a ser la única forma en la que la ciencia está representada en el mundo y en donde publicas se ha vuelto enormemente importante. Publicar en abierto y no utilizar el factor de impacto para evaluar me parece deseable, pero las editoriales pelearán para no perder el control de la literatura científica y la dirección de la investigación. 

 

 2. Un CV de 4-5 páginas que incluya una declaración personal que describa la actividad investigadora, las 10 publicaciones más relevantes y la financiación obtenida en los últimos años es suficiente. 

 

ROSA MENÉNDEZ LÓPEZ

Presidenta del Centro Superior de Investigaciones Científicas (CSIC).

 1. Me parecen muy pertinentes ambas indicaciones, que por otra parte desde el CSIC venimos impulsando con acciones específicas en el actual plan estratégico. En el CSIC la Ciencia Abierta, incluyendo la publicación en abierto, se considera clave, y venimos participando en diferentes foros de análisis internacionales desde hace varios años, y tomando las medidas que creemos viables en cada momento. Así, en 2019, y tras un análisis detallado de iniciativas como el Plan S en el marco de Science Europe, el CSIC publicó un mandato institucional de acceso abierto, promoviendo que la referencia de toda la producción científica de sus grupos esté disponible en el repositorio institucional, Digital CSIC, y apoyando la publicación en revistas en abierto bajo un modelo sostenible. En estos dos últimos años se ha avanzado considerablemente, y acabamos de firmar, junto con la CRUE, importantes acuerdos transformativos con cuatro grandes editoriales, continuando iniciativas previas.

 

Respecto a la evaluación de la calidad y el impacto de la investigación realizada, estamos de acuerdo en que el criterio básico no debe ser solamente el factor de impacto de la revista en la que se publica un resultado. 

 

 2. Por un lado, para la evaluación individual, debe tenerse en cuenta la aportación personal a cada resultado, que empieza a incluirse ahora en muchas de las publicaciones, y también se refleja en las patentes. Pero en general, además del impacto científico, debe valorarse el impacto social, y sobre todo el impacto a medio y largo plazo, lo cual no es sencillo, pero es lo que permite construir un sistema de reputación científica. 

 

Creemos que valorar la investigación es un problema demasiado complejo para que pueda reducirse a un mero cálculo, pero sí que pensamos que es bueno contar con indicadores objetivos de partida, para evitar cualquier tipo de arbitrariedad en las evaluaciones que se realizan. 

 

Por ello seguimos pensando que los comités de evaluación son los que deben ponderar correctamente los diferentes indicadores para lograr una evaluación lo más acertada posible en cada caso, teniendo en cuenta también el objetivo de la propia evaluación.

 

JESÚS PÉREZ GIL

Catedrático de la Universidad Complutense Madrid.

Presidente de EBSA y SBE. 

 1. Comparto la posición crítica al uso del índice de impacto, y mucho más, a valorar la posición de las revistas en cuartiles. Se olvida que muchos trabajos relevantes tienen mucho mayor impacto real que el impacto promedio de las publicaciones en la misma revista, y que la mera publicación de un trabajo en un revista con alto impacto no implica automáticamente que ese trabajo lo tenga. Nada suplanta al examen del impacto real de cada trabajo, aunque ello requiera un examen más detallado y mayor tiempo que la mera aplicación automática, frecuentemente injusta, de unos índices pre-establecidos. Además, la extendida utilización de esas métricas “ciegas” ha llevado a mucha tergiversación, cuando no manipulación, de las políticas editoriales de las revistas, para incrementar artificialmente el interés por publicar en ellas. La tiranía de las revistas con alto impacto introduce además elementos espurios en la elección de los trabajos y temas que se publican, lo que no necesariamente favorece la buena ciencia donde sea que surja. Es un paso adelante potenciar el examen del trabajo real asociado a las propuestas. Evalúese el contenido, no el continente. En cuanto a potenciar la publicación en abierto, está claro que debe facilitar la difusión y el libre acceso a la ciencia. Sin embargo, es evidente que la “democratización” en el acceso a la lectura puede ir asociada a una limitación real a publicar, según quien cargue con los costes de publicación. Es imprescindible una política concertada que negocie costes razonables para publicar en abierto, con medidas compensatorias para que publicar no dependa de la capacidad económica de autores e instituciones.

 

 2. A mi juicio la evaluación debería pasar por el examen detallado del impacto real de la investigación más relevante de autores o equipos (quizá en un número limitado de artículos seleccionados), y ello a partir de a) la relevancia de los resultados en el contexto del área y tema de investigación y b) el nivel de citación, y por tanto utilidad, de los resultados por parte de otros equipos.

 

FRANCESC POSAS

Director del Instituto de Investigación Biomédica (IRB Barcelona).

 1. Es una gran iniciativa. Los procesos de evaluación son esenciales para el progreso de la investigación, tanto en los centros de investigación como en las Universidades. Sin embargo, estos procesos hay que adecuarlos a lo que esperamos de los mismos. El uso incorrecto de factores, como el factor de impacto, que no valoran la investigación realizada en una contribución específica, nos puede llevar a evaluaciones erróneas si no son contrastadas pertinentemente. Por tanto, el factor de impacto en sí no debería ser un factor determinante en una evaluación científica. Otro aspecto que es de amplio debate en el mundo es la necesidad que los datos científicos sean de acceso universal lo más rápido posible. Por ello, las publicaciones científicas en abierto son esenciales, estas han de servir para el rápido progreso de la ciencia y una mejora en la transparencia de la misma. Esto debe implementarse sin la pérdida de calidad y escrutinio asociados a los procesos de publicación de los resultados. 

 

 2. Los procesos de evaluación hay que ajustarlos a lo que se espera de los mismos, no es lo mismo evaluar 500 CV para determinar quién puede optar o no a un determinado programa u obtener unos beneficios mínimos de la misma (e.g. una cierta reducción docente o un mero complemento) o bien aquella evaluación que tiene un impacto claro sobre la carrera de una persona. Indicadores cuantitativos de número de artículos, papel del investigador en los mismos, citas recibidas y tipo de contribución pueden ser suficientes en el primer caso, pero claramente insuficientes en el segundo, donde el impacto real de la investigación realizada debe hacerse por expertos que puedan valorar la relevancia real de la investigación realizada. 

 

 

PERLA WHANON

Presidenta de la COSCE.

Profesora emérita de la Universidad Politécnica de Madrid.

 1. Aunque se trata de un criterio meramente cuantitativo, el factor de impacto (medido por la frecuencia con la que una revista ha sido citada en un año concreto y que es un indicador que permite comparar diferentes revistas y evaluar la importancia relativa de una revista dentro de un mismo campo científico) es actualmente la metodología bibliométrica más utilizada para evaluar a las revistas, a los investigadores, los proyectos…y, lo que resulta más problemático, para juzgar la calidad de éstos, aunque mi opinión es que no existe una relación absoluta entre impacto y calidad.

 

Creo que el acceso abierto al conocimiento y su rastreo, permiten identificar el impacto público de la ciencia, incrementando su visibilidad. Se debe publicar en revistas científicas y académicas de acceso abierto, que cubran todas las áreas y que cumplan con los estándares de alta calidad al utilizar la revisión por pares y control de calidad editorial y que sean gratuitas para todos, al momento de su publicación y de acceso libre a todos o a una parte de sus artículos. 

 

 2. Frente al modelo dominante de evaluación de la investigación en base al factor de impacto, considerándose por tanto esta medida también del valor científico y de la calidad de la investigación, existen además de las publicaciones de acceso abierto, alternativas como son las que proporcionan los repositorios institucionales

 

Otros indicadores, además del número de citas que reciben los artículos de investigación de otros artículos, está el índice H de Hirsch, que es un indicador que permite evaluar simultáneamente la calidad (en función del número de citas recibidas) y la cantidad de la producción científica, el cuartil, que da la medida de posición de una revista en relación con todas las de su área (relacionado con el índice de impacto de la revista en su área).

 

Alternativamente, existen mecanismos transparentes y rigurosos de revisión de los artículos y de control del contenido publicado (peer review), con procedencia geográfica diversa de los miembros de los comités editoriales y de los autores de las colaboraciones, con contenidos, textos, que puedan ser detectados por los robots de los buscadores de Internet. Y por supuesto, que no conlleven ningún cargo ni tasa para poder publicar. 

 

 

 


¿Te ha gustado este artículo? Compártelo en las redes sociales: