A. The REV Market Framework
3. Utility Energy Efficiency Programs
cada ítem, de manera que el 1 indique un mal ajuste y el 5 un ajuste muy bueno.
Después se calcula la media o la mediana de losvalores asignados por cada uno de los expertos a cada ítem y el valor obtenido será el que indique el grado de relevancia del ítem se podrán
seleccionar los que muestren un alto grado de ajuste y eliminar los que no.
Se pueden comparar las medianas de los valores asignados por cada uno de los expertos (realizar previamente una tabla de frecuencias acumuladas).
• EVALUACIÓN de la REPRESENTATIVIDAD del DOMINIO el grado en que se han cubierto las especificaciones del dominio, en cuanto a contenidos y a
objetivos propuestos. En la medida en que el dominio este más y mejor representado, las inferencias serán más precisas. Lo ideal sería poder contar con un banco de ítems referidos al dominio de interés y a partir de éste, extraer una muestra aleatoria de ítems.
IV.- IV.- VALIDACIÓN DEL CONSTRUCTOVALIDACIÓN DEL CONSTRUCTO
La VALIDEZ DE CONSTRUCTO:• Da significación a las puntuaciones de los test permite obtener evidencia de que las conductas observables que se han elegido como indicadores del constructo, realmente lo son.
• Mediante el proceso de validación de constructo se obtendrá evidencia acerca de la capacidad del test para medir el constructo.
ESTUDIO DE VALIDACIÓN : es necesario:1º.
Definir cuidadosamente el constructo de interés a partir de las teoríasque existen acerca del mismo. Postular una serie de hipótesis acerca de su naturaleza y grado de relación entre el constructo y una serie de variables y entre el constructo de interés y otros constructos.
2º.
Diseñar el instrumento de medida adecuado , que contará con elementosrelevantes y representativos de aquellas conductas que sean específicas y concretas del constructo.
3º.
Obtener datos empíricos de las relaciones entre las puntuaciones obtenidas al aplicar el test y las variables (conductas observables)hipotetizadas.
Es necesario estudiar la RELACIÓN entre:
El constructo y otros constructos
El constructo y las conductas observables representativas del constructo
Esas conductas, tomadas como indicadores del constructo y las puntuaciones obtenidas por los sujetos en el test.
Si se confirman las relaciones de las hipótesis planteadas, se puede considerar que tanto el constructo como el test son útiles. En caso contrario nueva evaluación del constructo.
Los estudios de VALIDACIÓN DE CONSTRUCTO están centrados en elANÁLISIS DE LA ESTRUCTURA DEL TEST, tanto interna como externa
• Estudio de las interrelaciones entre las puntuaciones obtenidas por los sujetos en los distintos ítems (ESTRUCTURA INTERNA) y
• Estudio de las relaciones entre las puntuaciones obtenidas en el test y otras
medidas obtenidas en variables externas al mismo y consideradas relevantes
(ESTRUCTURA EXTERNA).
Los MÉTODOS más relevantes para la VALIDACIÓN de CONSTRUCTO:1.
MATRIZ MULTIMÉTODO−MULTIRRASGO (Análisis de la estructura externa)2.
ANÁLISIS FACTORIAL (análisis de la estructura interna) 1. LA MATRIZ MULTIMÉTODO-MULTIRRASGO
Propuesto por Campbell y Fiske (1959) y permite el ANÁLISIS DE LAESTRUCTURA EXTERNA del test (o conjunto de test).
Lógica del PROCEDIMIENTO : se intenta medir un mismo constructo mediantedistintos procedimientos y distintos constructos mediante el mismo procedimiento. Una vez obtenidas todas las medidas, calcular las intercorrelaciones entre ellas.
• Si las correlaciones entre las medidas del mismo constructo a través de distintos procedimientos son ALTAS el constructo quedará validado y se dirá
que existe VALIDEZ CONVERGENTE.
• Si estas correlaciones son significativamente MÁS ALTAS que las obtenidas al
correlacionar las medidas de distintos constructos con el mismo procedimiento
se dirá que existe VALIDEZ DISCRIMINANTE.
DESVENTAJA de este método : no existe criterio estadístico que permita tomardecisiones acerca de si un test tiene realmente validez convergente o
discriminante, solo parece haber evidencia de su existencia o de su ausencia.
Actualmente para mayor información se está utilizando el análisis factorial confirmatorio.
2. EL ANÁLISIS FACTORIAL
Es la técnica más utilizada para poner a prueba las hipótesis planteadas acerca de la estructura interna del constructo y de las relaciones del mismo con otrasvariables.
El ANÁLISIS FACTORIAL nos permite descubrir la estructura que subyace e laspuntuaciones obtenidas por los sujetos en los distintos ítems del test o en un conjunto de tests.
Dos tipos de ENFOQUES :1.
ENFOQUE EXPLORATORIO no se establecen hipótesis previas acerca del número de dimensiones, es la propia técnica la que nosaportara esta información.
2.
Enfoque CONFIRMATORIO se establecen a priori hipótesis, ymediante las técnicas oportunas, se comprueba si se pueden aceptar las
hipótesis propuestas.
ANÁLISIS FACTORIAL (AF) conjunto de técnicas estadísticas que tienencomo objetivo representar y explicar un conjunto de variables observables (ítems de un test, conjunto de tests, escalas…) mediante un número de variables
latentes o inobservables llamadas FACTORES:
Cada FACTOR se podría considerar como un constructo (variable latente) que vendría definido por las variables observables.
Para realizar un ANÁLISIS FACTORIAL se parte de un conjunto de n medidas tomadas a la misma muestra de sujetos en un conjunto de variables observables, a partir de ellas se obtiene una matriz (n x n) con las intercorrelaciones entre todas ellas. A partir de esta matriz, aplicando alguna técnica estadística de análisis factorial, se intenta identificar un número más reducido de variables
latentes llamadas factores.
Cuando en un mismo factor se agrupan múltiples indicadores del constructo, se obtiene evidencia de la VALIDEZ CONVERGENTE.
Cuando en el análisis se han obtenido medidas de otros constructos y estas aparecen agrupadas en distintos factores , se obtiene evidencia de VALIDEZ DISCRIMINANTE.
V.-
V.- VALIDACIÓN REFERIDA AL CRITERIOVALIDACIÓN REFERIDA AL CRITERIO
Este tipo de estudios de validación permiten obtener evidencia acerca del grado enque las PUNTUACIONES obtenidas en el TEST pueden UTILIZARSE EFICAZMENTE para hacer INFERENCIAS acerca del COMPORTAMIENTO real de los sujetos en un CRITERIO que NO puede ser MEDIDO DIRECTAMENTE, bien porque su medición pueda resultar difícil o
costosa ( no aconsejable obtener información del mismo por otros procedimientos).
En los estudios de VALIDACIÓN referida al CRITERIO, el objetivo principal esevaluar la hipótesis de relación entre test y criterio; la forma de analizar esta
relación depende de la complejidad del criterio y de la dificultad para definirle claramente, entre otros.
2 TIPOS DE ÍNDICES o medidas para describir la CAPACIDAD de un TEST oconjunto de tests para PREDECIR un CRITERIO (Croker y Algina):
1
Medidas correlacionales (coeficiente de validez, de determinación, dealineación, de valor predictivo…)
2
Medidas de error en la predicción (errores de estimación)
Estos estudios se suelen realizar desde 2 PERSPECTIVAS diferentes dependiendo del uso que se vaya a dar al test y del tipo de inferencia:1.
VALIDEZ PREDICTIVA o Capacidad para pronosticar, a partir de las puntuaciones obtenidas por los sujetos, su posterior rendimiento en el programa de formación, en el trabajo, en el curso de formación…
o Los tests se van a utilizar para la selección, clasificación o colocación de personas en determinados puestos .
o La medida del criterio se obtiene con posterioridad a la del test.
2.
VALIDEZ CONCURRENTE o Se utiliza con la finalidad de hacer un diagnóstico. o La medida del criterio se obtiene a la vez que la del test.
La teoría no juega el papel principal, se acentúa el interés en el aspectoempírico del proceso más que en el teórico (a diferencia del proceso de validación
de constructo); no obstante, una conceptualización teórica facilita la tarea de aislar las dimensiones y subdimensiones que lo conforman, de manera que cada una de ellas puede ser predicha por diferentes variables (validación de constructo del
criterio) un estudio de validación de constructo del criterio ayudará a
determinar las dimensiones a medir, cómo se medirá cada una de ellas y si se desea, cómo combinarlas.