Varios autores han hecho aportaciones sobre las técnicas y la metodología de la evaluación de la investigación. Describiremos a continuación y de forma muy breve las principales aportaciones de cada autor.
A principios de los ochenta empiezan a cobrar importancia los estudios sobre metodología en la evaluación de la investigación. (Irvine et al. 1981) publican un trabajo en el que plantean si es posible evaluar la investigación. Según estos autores, debido a la recesión económica de los países occidentales los gastos presupuestarios, incluidos los destinados a la investigación, deben estudiarse meticulosamente. Par Irvine la potenciación y reducción de presupuestos debe basarse en una evaluación sistemática de los resultados obtenidos previamente. La decisión de financiar la investigación básica descansa en la eficacia potencial de los investigadores que solicitan la financiación, es decir en que medida contribuirán al avance de la ciencia. En el caso de que no fuera posible realizar predicciones, uno de los indicadores de los que se dispone es la eficiencia de los investigadores en el pasado. Estos autores utilizan un análisis del tipo input/output parecido al que se utiliza en economía. Analizan tres tipos de outputs:
a) las contribuciones al conocimiento científico b) contribuciones a la enseñanza
c) contribuciones a la tecnología Según (Irvine et al. 1981):
“cualquier cuantificación absoluta de la contribución de un grupo de
investigación al conocimiento científico es imposible”.
Es posible realizar una evaluación comparativa, pero sólo se pueden comparar significativamente grupos similares, es decir, grupos que desarrollen las mismas actividades científicas y tengan un equipo similar y un soporte financiero más o menos equivalente.
(Kostoff 1998) incide en el sistema de asignación de fondos para investigar. Su modelo utiliza paneles de revisión compuestos por una diversidad de actores: investigadores de referencia, gestores de investigación, expertos externos, expertos en tecnología y expertos que forman parte de los requisitos de funcionamiento del centro evaluado.
cuantitativos a través del análisis coste/beneficio, cálculo de tasa internas de retorno, de publicaciones por científico/año, del número estimado de usuarios potenciales del resultado de las investigaciones. También considera los análisis cualitativos como la opinión de los colegas profesionales sobre la calidad de la actividad investigadora.
(De Grève et al. 1989) propone un método compuesto que combina una matriz de resultados cuantitativos asequibles, con una técnica cualitativa del perfil del proyecto. Para el primer caso la matriz cuantifica en las líneas las actividades de investigación con datos disponibles (publicaciones, reuniones, comunicaciones, etc.) y en las columnas se colocan las disciplinas, departamentos o proyectos. Para el perfil del proyecto se dividen las consideraciones del grupo evaluador en diferentes temas que hay que valorar en cinco niveles cada uno. Los temas que se consideran son la definición de objetivos y la finalidad de la investigación, la relación con el estado actual del conocimiento en la materia y las motivaciones de la investigación. Incluye la metodología, la hipótesis y el plan de trabajo, la infraestructura existente y el presupuesto. Finalmente recomienda no olvidar la factibilidad, originalidad y el impacto sobre el conocimiento actual.
(Irvine 1988) ha trabajado en la evaluación de instituciones de investigación definiendo protocolo de análisis. Primero observa los criterios con que se seleccionan los temas de investigación. A continuación analiza los procesos que se usan para planificar nueva investigación y evaluar si va a ser ejecutada de forma eficiente. Le siguen los procedimientos para evaluar los resultados a medio plazo, así como los utilizados para evaluar a los investigadores individualmente. El protocolo continua evaluando las fases principales del calendario de planificación anual y la distribución de los gastos ordinarios. En cuanto a resultados más tangibles evalúa la tipología de las publicaciones producidas por la institución y en que clases de audiencia externa hay presentaciones del trabajo realizado.
(Averch 1991) incide en la información bibliométrica, las técnicas de encuestas, los modelos econométricos y las estimaciones de los retornos privados y sociales que genera la investigación. Para ello utilizó casos concretos como el del Superconducting-super-collider, macroproyecto americano relacionado con la física de altas energías que generó una gran controversia política, científica y social.
(Sirilli 1992) utiliza el modelo llamado de cascada, lo que interesa de este modelo es su capacidad de aproximarse a las actividades y procesos de investigación y su aproximación al sistema de ciencia y tecnología como un todo. Se clasifican los objetivos y las actividades de investigación. Las actividades se clasifican en términos de infraestructura / impacto y no bajo la relación input / output. Utiliza una serie de sub-categorías para los indicadores de ciencia y tecnología como la infraestructura social, las infraestructuras científicas, tecnológica de investigación y desarrollo, los resultados de la investigación y la contribución al estado de la ciencia y la tecnología, aunque el propio autor considera este modelo excesivamente lineal.
(Camí 1997) reconoce, en el fondo, que la evaluación de la investigación requiere una análisis multidimensional de los distintos factores que influyen en los productos resultantes de la actividad investigadora cuando afirma:
“Cuantificar y evaluar la actividad científica es una tarea compleja” … “La obtención y normalización de estos indicadores (se refiere a los bibliométricos) es complicada, ya que la ciencia es una actividad colectiva y acumulativa, y un mismo indicador puede interpretarse de forma distinta según el área de conocimiento que se estudie. Además, ninguno de los indicadores es en sí mismo determinante, ya que cada uno de ellos presenta sólo una faceta de la realidad –siempre en forma imperfecta–, de manera que sólo tienen verdadera utilidad cuando se consideran en conjunto”.
(Moya-Anegón et al. 2004) analizan diversos trabajos realizados por Henk F. Moed de la Universidad de Leiden sobre el concepto de calidad en el ámbito de la ciencia y concluyen:
“La calidad científica se muestra como una dimensión con múltiples aspectos y atributos constitutivos, que pueden tener un mayor o menor protagonismo dependiendo del escenario donde nos encontremos y del objetivo de interés”
Para a continuación criticar el hecho de que la mayoría de instituciones centren más su interés en los resultados científicos producidos por un sistema, que en la importancia y trascendencia del conocimiento generado.
Más recientemente, (Alonso et al. 2005) editores de la Revista Española de Cardiología, en un artículo de título muy revelador “Impactología, impactitis, impactoterapia” analizan de forma muy crítica los indicadores bibliométricos basados en el “Factor de Impacto” y afirman de forma contundente:
“Valorar de forma ecuánime los méritos de la investigación es un reto todavía no resuelto”