PathSim: A Meta-Path-Based Similarity Measure

Seguidamente vamos a centrarnos en la conceptualización e importancia de los métodos para verificar la confiabilidad.

El texto básico nos plantea los métodos para corroborar la confiabilidad de un instrumento de medición, es necesario administrar el instrumento a una muestra según el diseño de investigación específico y,

por otro lado, los datos que resulten de tal aplicación deben ser analizados mediante procedimientos apropiados. Los métodos son:

3.5.1. Test–retest: este método consiste en administrar un test en dos oportunidades a la misma muestra de sujetos, con un determinado intervalo entre las dos administraciones, y calcular la correlación entre los puntajes obtenidos en la primer y segunda vez.

3.5.2. Formas equivalentes:consiste en administrar dos formas equivalentes de un test a un mismo grupo de individuos. En el caso de que este método se utilice para verificar la estabilidad, la administración de la segunda forma se realiza transcurrida un tiempo a partir de la administración de la primera forma, y posteriormente se correlacionan los resultados obtenidos.

3.5.3. Partición en mitades: se administra el test en una ocasión a una muestra de individuos y

posteriormente se divide la prueba en dos mitades comparables, obteniendo de esta manera dos puntuaciones para cada individuo de la muestra. Finalmente se correlacionan las puntuaciones correspondientes a ambas mitades del test por miedo de un coeficiente de correlación.

3.5.4. Métodos de covarianza de los ítems:  a partir de una única aplicación del test a una muestra se obtiene una estimación del grado de covarianza de los ítems, utilizando como estadístico el coeficiente alfa de Cronbach o la fórmula alternativa de Kuder Richardson, cuando se trabaja con ítems dicotómicos.

3.5.5. Acuerdo entre los examinadores:el método consiste en administrar un test a una muestra, entregar los resultados del test a un conjunto de jueces que los puntuarán independientemente.

 ACTIVIDADES RECOMENDADAS 

Con los conocimientos adquiridos es importante que en este momento revise de las páginas 81 a la 94. Efectúe una lectura minuciosa y diseñe un glosario de términos los mismos que le permitan comprender el enfoque teórico. Estas fórmulas estadísticas usted debe tenerlas presentes, ya que se aplicarán en la asignatura de estadística.

Se ha concluido la tercera unidad de estudio, ahora le invito a desarrollar la autoevaluación 3, a fin de que verifique el avance de sus conocimientos.

Autoevaluación 3

Escriba una (V) o una (F) según sean verdaderos o falsos los siguientes enunciados.

1. ( ) Un error sistemático, es aquel que genera constantemente una puntuación elevada o baja en una persona al margen de los cambios que puedan darse en el rasgo medido por el test.

2. ( ) La confiabilidad se verifica mediante un coeficiente de correlación entre las medidas repetidas de un fenómeno.

3. ( ) Hogan (2004) clasifica a los principales factores que afectan la confiabilidad en internos y externos.

4. ( ) En términos generales, los test son más confiables a medida que aumenta el número de respuestas alternativas de un rango limitado.

5. ( ) Cuando en el proceso de puntuación de un test interviene de manera importante el criterio del evaluador, puede presentarse variaciones que aumentan la confiabilidad de los puntajes.

6. ( ) Cuando un coeficiente de correlación es utilizado para estimar la estabilidad de las puntuaciones de un test, también suele denominarse coeficiente de estabilidad. 7. ( ) En la actualidad el coeficiente alfa es el estadístico más popular para estimar la

consistencia interna de una prueba.

8. ( ) Un aspecto importante a considerar en un estudio de confiabilidad, es el tamaño de coeficiente de confiabilidad.

9. ( ) La puntuación obtenida por un individuo en cualquier test está compuesta por la puntuación verdadera, menos el error de medición.

10. ( ) El test–retest consiste en administrar dos formas equivalentes de un test a un mismo grupo de individuos.

Verifique sus respuestas en el solucionario que se encuentra al final de la presente guía didáctica.

UNIDAD 4: VALIDEZ

En esta unidad continuamos con las normas técnicas para el desarrollo de los test. Existe otra norma como la validez que desarrollaremos en este momento.

Iniciemos el tema planteándonos la siguiente interrogante: ¿qué es la validez?

4.1. Introducción

Seguidamente vamos a centrarnos en la conceptualización e importancia de la validez.

La validez se relaciona con la investigación del significado teórico de las puntuaciones obtenidas por medio de un test.

Las puntuaciones evidencian propiedades de validez cuando se verifica que el test realmente mide el constructo que pretende medir, justificando adecuadamente las inferencias realizadas en función de sus resultados (Nunally, 1991).

Para comprender la validez debemos tener claridad del concepto de constructo que detallo a continuación:

Por lo expuesto, se deduce que la validez de un instrumento de medición se refiere a que la prueba que se está usando realmente mida lo que debe medir.

Todos los procedimientos utilizados para determinar la validez se interesan en las relaciones entre la ejecución de las pruebas y otros factores observados independientemente de las características de la conducta considerada. Para investigar estas relaciones se han empleado distintos métodos, cuyos nombres tradicionalmente se han concentrado en aspectos de la validez que son importantes para distintos usos de la prueba.

La validez hace referencia a la veracidad o exactitud en el puntaje de una prueba o la interpretación de un experimento”.

La situación ideal en lo referente a la validez es que un test represente adecuadamente y mida la varianza relevante del constructo, o expresado de otro modo, que las interpretaciones de los resultados de una prueba estén libres de sesgo de medición.

Señor estudiante una breve introducción histórica, puede contribuir a esclarecer la situación actual de este concepto, observemos:

En el texto básico, página 102 encontrará el desarrollo de cada una de las etapas. Léalos comprensivamente, en qué consiste cada una de las etapas, de la historia del concepto de validez.

Validez de contenido

Los procedimientos de validación por la descripción del contenido comprenden el examen sistemático del contenido de la prueba para determinar si cubre una muestra representativa del área de conducta que debe medirse. El área de conducta por examinar debe analizarse sistemáticamente para garantizar que los reactivos cubran todos los aspectos importantes y en la proporción correcta. Se debe tener en cuenta no sobregeneralizar ni incluir factores irrelevantes en los resultados. Básicamente se deben contestar dos preguntas: a)¿cubre la prueba una muestra representativa de las habilidades y conocimientos especificados? b) ¿el desempeño en la prueba está razonablemente libre de la influencia de variables irrelevantes?

Validez de facie: la validez de contenido no debe confundirse con la validez aparente que no es validez en el sentido técnico porque no se refiere a lo que la prueba verdaderamente mide sino a lo que “parece” medir. Aunque usar el término “validez” puede resultar confuso, la validez de facie es en sí misma un rasgo deseable de los instrumentos, porque alude a que la prueba “parece válida” para quien la administra, quien la responde y para otros observadores. Esta validez puede mejorarse replanteando los reactivos para que parezcan relevantes y plausibles en medio particular en que serán usados por ejemplo es posible elaborar una prueba de aritmética para personal naval en la terminología náutica sin alterar con ello las funciones medidas.

Validez en relación a un criterio

Los procedimientos de validación de criterio-predicción indican la efectividad de la prueba para predecir el desempeño del individuo en actividades específicas. La medida de criterio contra la que se validan los resultados del instrumento puede obtenerse aproximadamente al mismo tiempo que los resultados de la prueba o después de un intervalo establecido. Las relaciones temporales entre el criterio y la prueba permiten diferenciar la validación concurrente y la predictiva. La validez predictiva permite anticiparse sobre un intervalo y la información que proporciona es muy pertinente para las

pruebas usadas en selección y clasificación de personal, diagnóstico de reincidencia en el área forense, ingreso al secundario o a la universidad de estudiantes. Otros ejemplos son el uso de las pruebas para descartar sujetos que pueden desarrollar trastornos emocionales en ambientes de tensión o extraños o para identificar personal militar para determinados programas de capacitación ocupacional.

Con la validación concurrente, en cambio, la prueba se aplica a personas que ya cuentan con datos de criterio, por ejemplo comparando los resultados obtenidos en la prueba por aspirantes universitarios con los promedios académicos al momento del examen. La distinción lógica entre la validez concurrente y la predictiva se basa en los objetivos más que en el tiempo. La validación concurrente es adecuada para las pruebas que se emplean para “diagnosticar” el estado actual más que para predecir los resultados futuros.

Se debe tener en cuenta la contaminación del criterio como fuente de error en la validación de la prueba, es decir, una precaución esencial es asegurar que los propios resultados no influyan en la condición del criterio de cualquier individuo. Es por ello que los resultados deben mantenerse estrictamente confidenciales.

Validez de constructo

Esta expresión se introduce por primera vez en 1954 en las “Recomendaciones técnicas para las pruebas psicológicas y las técnicas de diagnóstico” (APA, 1954). La validez de constructo ha centrado la atención en la función que cumple la teoría psicológica en la elaboración de la prueba y en la necesidad de formular hipótesis que puedan ser comprobadas o refutadas en el proceso de validación. La validez de constructo de un instrumento es el grado en el que puede afirmarse que mide un constructo o rasgo teórico. Requiere de la acumulación gradual de diversas fuentes de información.

Cambios en el desarrollo: la diferenciación por edad es un importante criterio utilizado en la validación de una serie de pruebas tradicionales de inteligencia. Un ejemplo es el Stanford-Binet en donde se espera que durante la niñez las habilidades aumenten con la edad, por lo tanto si la prueba es válida sus resultados deberían mostrar dicho incrementos pues se basa en el supuesto de que “la inteligencia aumenta con la edad” al menos hasta la madurez. Una prueba validada con el criterio evolutivo mide características conductuales que se incrementan con la edad en las condiciones existente en el entorno en el que se estandarizó el instrumento. Como diferentes culturas pueden estimular y fomentar el desarrollo de características conductuales disímiles, no puede suponerse que el criterio de diferenciación por edad sea universal. Como cualquier otro criterio está circunscrito por el contexto cultural particular del que fue derivado.

Correlaciones con otras pruebas: se citan las correlaciones entre una prueba nueva y otros instrumentos similares como evidencia de que la nueva mide aproximadamente la misma área de conducta que otras que llevan el mismo nombre como pruebas de “inteligencia”.

 ACTIVIDADES RECOMENDADAS 

Explique según la APA (1999) como define a la validez.

Avancemos con el siguiente contenido donde es preciso comprender las fuentes de evidencia internas y externas de la validez, estudiémoslas entonces: