Como ya se ha mencionado, los cuestionarios para la medición de la CVRS en niños(as) y adolescentes han sido creados, en su mayoría, en países de habla no hispana (Pane, S. y cols. 2006); otros han sido adaptados a diferentes contextos culturales o países, presentando varias ventajas (Casas, J. y cols. 2001; Serra-Sutton, V. y Herdman, M. 2001; Carretero-Dios, H. y Pérez, C. 2005; González de Dios, J. 2004), entre ellas, permite mantener la fiabilidad y la validez similar al instrumento original, tener elementos de referencia cuando participan varios países, contar con la experiencia de los creadores del instrumento y se considera un procedimiento más económico que la creación de un nuevo instrumento.
Contar con instrumentos de CVRS dirigido a la población en edad escolar viene siendo de gran utilidad, especialmente, en aquellos que toman en cuenta los diferentes contextos donde ellos se desenvuelven como, la familia, los amigos, el entorno escolar, entre otros; ubicados dentro de su cultura, valores, sus metas, expectativas y preocupaciones. Existe una metodología estandarizada, consensuada internacionalmente para adaptar un cuestionario de un idioma a otro, consiste en seguir los mismos pasos que para su creación original, es decir, realizar procesos que garanticen una equivalencia lingüística (semántica y conceptual) con el instrumento original,
36
además de evaluar, sus propiedades psicométricas (Acquadro, C. et al. 2004); dado que existen diferencias entre distintos países o regiones que comparten la misma lengua (Badía, X., Salamero, M. y Alonso, J. 2002; Acquadro, C. et al. 2004; Pane, S. y cols. 2006).
De manera que, para Carretero-Dios, H. y Pérez, C. (2005), la traducción de las preguntas y/o apartados de medida debe ser muy meticulosa, conservando la equivalencia de significados, incluyendo su cultura, entre el país que desarrolló el cuestionario y la comunidad en la que se va a adaptar. Pane, S. y cols. (2006) manifiesta que, la relación entre un instrumento y el contexto cultural donde se ha desarrollado debe responder a ciertos parámetros específicos. Los hábitos, costumbres y creencias de una cultura condicionan en gran medida cómo preguntar, cuáles son los términos más apropiados, el sentido de las palabras y las frases. Por lo tanto, esta adaptación cultural será necesaria no sólo cuando se utilice el cuestionario en un idioma distinto, sino también en los casos de diversidad cultural de una misma lengua.
Para la adaptación de un cuestionario de un idioma a otro existe una metodología consensuada internacionalmente, denominada por el MAPI Research Institute, validación lingüística estandarizada, la cual es un proceso estándar de validación (Acquadro, C. et al. 2004), conocida por investigadores de esta área, como traducción directa e inversa o traducción – retrotraducción (Serra-Sutton, V. y Herdman, M. 2001; Carretero-Dios, H. y Pérez, C. 2005; Echeverría, C. y cols. 2000; Lizán-Tudela, L. y Reig-Ferrer, A. 1999;
37
KIDSCREEN Group 2004b; DISABKIDS Group, 2004a). La adaptación de un instrumento se obtiene de la escala original, la sola traducción no significa que pueda considerarse que sea la nueva versión por sí misma adecuada, se requiere del uso de los filtros usados en la construcción del instrumento original, con la finalidad de garantizar una adecuación conceptual y relevancia cultural en el nuevo entorno (Carretero-Dios, H. y Pérez, C. 2005).
Las revisiones de estudios instrumentales aunque cumplen con las recomendaciones metodológicas internacionales, usualmente no reportan con detalle los procesos metodológicos llevados a cabo en los procesos de adaptación cultural (Carretero-Dios, H. y Pérez, C. 2005; Pane, S. y cols. 2006). La metodología del proceso de adaptación cultural abarca dos grandes fases:
1. Validación lingüística del instrumento fuente (original) a una
lengua objetivo (diana): contempla dos aspectos fundamentales, la
equivalencia conceptual, que se logra cuando las respuestas a las mismas preguntas reflejan el mismo concepto, siendo éstos significativos en las culturas e idiomas involucrados en el proceso y, la equivalencia semántica, que se obtiene cuando las estructuras propiamente semánticas seleccionadas cumplen la misma función y el mismo significado (Acquadro, C. et al. 2004). Dependiendo de los idiomas implicados, la primera fase puede corresponder a un proceso de validación lingüística estandarizado o un proceso de validación lingüístico ajustado (Instituto Maphi).
38
1.1. Proceso de validación lingüística estandarizado, standard linguistic
validation process, en la terminología del Instituto Maphi, corresponde a
la adaptación de un instrumento de un idioma a otro. Es un proceso riguroso que contempla siete pasos estandarizados: definición de conceptos, traducción directa, traducción inversa, una prueba experimental o prueba piloto, sesión de armonización o consenso internacional, las modificaciones, y el informe lingüístico de la validación (Aquadro, C. et al. 2004). Como se mencionó esta misma metodología es reconocida internacionalmente como proceso de traducción directa e inversa (Pane, S. y cols. 2006); se destacan tres etapas:
Traducción directa, se recomiendan normalmente, al menos dos traducciones independientes del cuestionario original al idioma diana por parte de traductores bilingües (Echeverría, C. y cols. 2000; Rajmil, L. y cols. 2004a; Casas, J. y cols. 2001; KIDSCREEN Group 2004b; DISABKIDS Group, 2004a; Pilot Test Manual - The DISABKIDS Group, 2002), reuniones de consenso entre traductores e investigadores para resolver la falta de coincidencias entre la versión traducida y la original, clasificando los ítemes según el grado de equivalencia (Badía, X., Salamero, M. y Alonso, J. 2002; Rajmil, L. y cols. 2004b).
Traducción inversa de la versión consensuada por parte de dos traductores bilingües, cuya lengua materna sea el idioma del instrumento original, realizar reuniones de consenso entre traductores e investigadores comparando la versión retrotraducida con el original (Serra-Sutton, V. y Herdman, M. 2001; Acquadro, C. et al. 2004). Algunos autores consideran relevante valorar el grado de comprensión
39
del instrumento traducido por parte de la población diana. Para ello acuden al uso de técnicas cualitativas, como entrevistas cognitivas (Barofsky, I. 2003; McColl, E., Meadows, K. & Barofsky, I. 2003), entrevistas individuales o grupales semiestructuradas, grupos de discusión y en otras ocasiones paneles de expertos (Serra-Sutton, V. y Herdman, M. 2001; Serra-Sutton, V. y cols. 2002).
Estudio piloto de adaptación que busca determinar fiabilidad y validez preliminar, ya que el hecho de adaptar el instrumento puede afectar sus propiedades psicométricas (Casas, J. y cols. 2001; Rajmil, L. y cols. 2004a).
1.2. Proceso de validación lingüística ajustado (adjusted linguistic validation
process), metodología a seguir para adaptar un instrumento a otro
contexto cultural que comparte el mismo idioma o de una de sus versiones adaptadas, por ejemplo, validar un instrumento originalmente creado en lengua inglesa a otros contextos de habla inglesa.
2. Validación psicométrica de la versión del instrumento objetivo
(diana): Una vez obtenida la versión adaptada, es recomendable
comprobar sus propiedades psicométricas para confirmar que la nueva versión mide los mismos constructos que la original. Es necesario identificar si cuentan con algunas características de calidad y que a su vez permita conocer el nivel de desarrollo del instrumento. Existen criterios psicométricos de calidad como la validez, fiabilidad, sensibilidad al cambio que deben aplicarse a la hora de hacer uso de los cuestionarios de salud (Badía, X. y cols. 2002; Rajmil, L. y cols. 2001;
40
Bowling, A. 1994; Valderas, JM. y cols. 2005; Cerda, E. 1972). Otros autores incluyen, tomar en cuenta aspectos relacionados con la utilidad (Sánchez, R. y Echeverry, J. 2004), variabilidad, distribución de las respuestas, carga de administración, interpretabilidad de las puntuaciones (Lizán, L. 1997; Valderas, JM. y cols. 2005).
2.1. Factibilidad y aplicabilidad: implica las posibilidades prácticas para que el instrumento pueda ser completado y analizado; contempla dos aspectos, la factibilidad para el que responde, es decir, el tiempo y otras necesidades que se pueda tener y la factibilidad administrativa que se define, como las necesidades de aquellos que aplican el instrumento. Al respecto, Badía, X. y Baró, E. (2001) mencionan, valorar la aplicabilidad del instrumento en el escenario real, es decir, el tiempo utilizado en la cumplimentación, la identificación de condiciones particulares en las que deben estar los participantes, la preparación de los que van a aplicar la prueba, los métodos y el tiempo requerido para calificar la prueba (Sánchez R. y Echeverry, J. 2004). Considerar aspectos como son la sencillez, brevedad, claridad en las preguntas, amenidad del formato especialmente si se utiliza en niños(as) (Valderas, JM. y cols. 2005).
2.2. Variabilidad y desempeño: La variabilidad tiene que ver con el comportamiento de las puntuaciones de una determinada muestra, estas deben estar distribuidas a lo largo de la amplitud de la medida. Es importante valorar el sesgo, que puede detectarse al encontrar que las puntuaciones tiendan a ubicarse hacia uno de los extremos de la escala que
41
se utilice (Lizán, L. 1997). Los valores perdidos son un indicio de la aceptabilidad del cuestionario. El poder discriminante se analiza mediante los efectos suelo (proporción de respuestas en el extremo inferior de la escala) y techo (proporción de respuestas en el extremo superior de la escala) asumiendo como aceptables frecuencias menores del 15% (Aymerich, M. y cols. 2005; Valderas, JM. y cols. 2005).
2.3. Fiabilidad: Se refiere al grado en que un instrumento proporciona la misma puntuación cada vez que se administra, siempre que las condiciones de medición no cambien. Una medida fiable ha de estar libre de errores de medida (Muñíz, J. 2001; Martínez-Arias, R. 1996). Tiene que ver con el grado de congruencia o precisión del instrumento al medir un atributo, con la estabilidad (reproductividad) y equivalencia (Polit, D. y Hungler, B. 2000; Bowling, A. 1994; Badía, X. y cols. 2002; Batista-Foguet, JM. y cols. 2004; Cerda, E. 1972).
a) Congruencia interna u homogeneidad: se refiere al grado en que las distintas subpartes que integran un instrumento miden una misma característica, también se denomina consistencia interna. Una forma de medir la homogeneidad de un cuestionario es relacionando todos los ítemes entre sí, los que miden el mismo concepto se espera que las respuestas estén relacionadas. Existen técnicas que permiten valorar este aspecto, entre ellas, el coeficiente alfa de Cronbach.
42
Coeficiente alfa Cronbach: indica el grado en que todos los elementos, ítemes o dimensiones de un instrumento miden el mismo concepto. Esta técnica permite valorar la relación de los ítemes entre sí. Un alto coeficiente alfa es muestra de grado de homogeneidad de los ítemes de la prueba (Muñíz, J. 2001). El intervalo normal de los valores alfa fluctúa entre 0,00 y 1,00 se calcula a partir de la matriz de covariaciones de las respuestas a los ítemes del cuestionario. Un valor próximo a 1 indica una alta homogeneidad o consistencia en las respuestas proporcionadas a los ítemes. Los niveles aceptables de fiabilidad en caso de uso individual son aceptables valores entre 0.90 y 0.95 en especial para la toma de decisiones individuales y, para comparación de grupos se consideran valores mayores a 0,70 (Polit, D. y Hungler, B. 2000; Batista- Foguet, JM. y cols. 2004). Además, una fiabilidad es satisfactoria si cada ítem se relaciona de manera lineal con la escala que hipotéticamente representa (correlación ítem escala), se consideran valores aceptables ≥0,30 (Fernández-López, JA. y cols. 2004).
b) Estabilidad: Hace referencia al grado de repetibilidad de las respuestas de un mismo individuo recogidas en dos o más ocasiones cuando, supuestamente no ha habido cambios en el estado de salud del individuo, este aspecto se analiza a partir del coeficiente de correlación intraclase (CCI).
c) Equivalencia o congruencia: procedimientos que proporcionan mediciones de los mismos atributos en las mismas personas.
43
2.4. Validez: Denota el grado en que un instrumento mide lo que se supone debe medir (Polit, D. y Hungler, B. 2000; Cerda, E. 1972; Badía, X. y cols. 2002). Para autores como Muñiz, J. (2001), la validez se refiere al conjunto de pruebas y datos que han de recogerse para garantizar la pertinencia de inferencias. En el ámbito de la CV los conceptos a medir no son objetos físicos que permiten una medición directa, se trata de conceptos o constructos que se evalúan mediante un sistema de indicadores (Badía, X. y cols. 2002). Se pueden identificar diferentes tipos de validez, pero existen tres tipos básico: la validez de contenido, criterio y de constructo.
a) Validez de contenido: Se basa en el análisis del concepto que se pretende medir, la definición de áreas o dimensiones que abarca y sus límites con otros conceptos relacionados. Algunas de las técnicas usadas para la valoración son la consulta a expertos que evalúan aspectos técnicos y de contenido de cada ítem, con el fin de dar una valoración sobre su pertinencia en la inclusión de la prueba (Amaya, P. 2004), el análisis del contenido de respuestas abiertas, el juicio de pacientes, el juicio de clínicos, la revisión bibliográfica, entre otros.
b) Validez de criterio: Es la relación entre una variable externa (criterio), un índice o un indicador del concepto que se está midiendo y el instrumento que se considera. Cuando existe consenso entre los investigadores sobre un buen procedimiento de medidas, este se considera estándar o patrón de oro (gold standard), con el que se
44
compara todos los nuevos instrumentos. Cuando no es así, se establece mediante variables externas a la escala relacionadas con el concepto. No hay un patrón estándar de la salud con el que comparar los índices de estados de salud. Dentro de la validez de criterio se cuenta con: - La validez predictiva, que es un acontecimiento futuro que se intenta predecir mediante el resultado del instrumento de medición (Polit, D. y Hungler, B. 2000; Lizán, L. 1997). Con la validez predictiva, el criterio no estará disponible hasta transcurrido un tiempo.
- La validez concurrente, cuando se valora en un mismo momento temporal el instrumento que se evalúa y el instrumento que hace de patrón. Se busca establecer la similitud entre el instrumento y otro tipo de representación del atributo utilizando otros instrumentos válidos y confiables con el fin de estimar el grado en que los dos miden el mismo concepto (Amaya, P. 2004).
c) Validez de constructo: Se refiere al grado en que el instrumento a través de sus puntuaciones, apoya una hipótesis que establece el investigador con relación a la idea o constructo que va a medir. Se valora mediante la capacidad que tenga de producir relaciones con otras variables. Permite determinar si los ítemes reflejan diferentes graduaciones de una sola dimensión o si se distribuyen en un espacio multidimensional. Se valora mediante la capacidad que tiene de producir relaciones con otras variables. Ejemplo: diferencias en sujetos sanos y enfermos. Para ello se han utilizado frecuentemente procedimientos
45
metodológicos como la multirrasgo-multimétodo, el análisis factorial, la técnica de los grupos conocidos (Muñiz, J. 2001).
- La matriz multirrasgo-multimétodo: es una matriz de correlaciones en las que aparecen varios constructos medidos por varios métodos.
- El análisis factorial son diversos procedimientos matemáticos- estadísticos utilizados para analizar las interrelaciones posibles existentes entre un conjunto de variables para intentar explicar interrelaciones con un número de variables más reducido que con el que se comenzó (García-Cueto, E. 1993). Esta técnica se encuadra dentro del análisis multivariado y consiste en reducir un conjunto de variables originales a un conjunto menor de variables abstractas latentes, llamadas factores, es decir, permite identificar grupos de ítemes orientados a evaluar un mismo concepto para conseguir una mejor interpretación de los datos (Arce, C. 2001). Existen técnicas con enfoques puramente descriptivos conocidos como análisis factorial exploratorio y, con enfoques explicativos como análisis factorial confirmatorio.
1) Análisis factorial exploratorio, busca obtener una estructura factorial con un alto grado de independencia entre factores y altas cargas factoriales de los ítemes en su factor de pertenencia. Para ello se puede usar el método de los factores principales en el que se presume que los factores sean independientes (rotación ortogonal Varimax), o que los factores están relacionados (rotación promax). Se extraen los factores y se busca que cada ítem tenga un alto peso factorial en su factor y sólo en él (García-Cueto, E. 1993; Yela, M. 1997). Este procedimiento
46
también, permite detectar la varianza total de la matriz de correlaciones; la varianza refleja la cantidad de información que contiene la matriz.
Se consideran factores significativos según el criterio de Kaiser Guttman aquellos factores que contengan, al menos, un autovalor igual o mayor que 1 (Arce, C. 2001). Para la interpretación de los factores se hace examinando las saturaciones que en el factor muestran las variables. Para decidir si una variable hace parte de un factor debe tenerse en cuenta el tamaño de la muestra ya que saturaciones débiles como 0,20 o inferiores pueden ser significativas en muestras grandes. En general, se recomiendan saturaciones con el factor al menos de 0,40. (Martínez- Arias, R. 1996). Los valores de las correlaciones pueden oscilar entre 0,10 a 0,30 correlación débil, 0,40 a 0,50 correlación moderada, y >0,50 correlación fuerte.
2) Análisis factorial confirmatorio o análisis factorial de segundo orden: conduce a una mayor concreción de las hipótesis que deben ser contrastadas puesto que permite restricciones en algunas saturaciones o contraste estadísticos de las hipótesis especificadas, también analizar la matriz de covarianzas para establecer si los indicadores son tau- equivalentes (Batista-Foguet, JM. y cols. 2004).
- Validez según grupos conocidos: el instrumento se aplica a grupos que según se presume se diferirán con respecto al atributo valorado a causa de una característica conocida. Se puede evaluar comparando las puntuaciones por edad, género y estado de salud.
47
La validez de convergencia y de discriminación se considera como dos aspectos de la validez de constructo:
La validez de convergencia (método de matrices de características y métodos múltiples Campbell y Fiske): valora si una matriz de relaciones entre diferentes indicadores es coherente con lo esperable a partir del conocimiento teórico, es decir, si dos instrumentos que miden el mismo concepto establecen interrelaciones elevadas entre sus dimensiones. La validez discriminante: demuestra que una medida no se correlaciona
con otras medidas cuya finalidad es medir rasgos diferentes.
Los coeficientes de validez convergente deben ser mayores que lo coeficientes entre las mediciones de atributos diferentes obtenidas mediante un mismo método. De esta manera, las correlaciones del test consigo mismo presentaría coeficientes cercanos a 0,60 o valores mayores indicando una validez convergente y las correlaciones entre medidas de distinto rasgo presentarían coeficientes cercanos a 0,20 o valores menores indicando una validez divergente. Los signos negativo (-) antes de la correlación indica una relación inversamente proporcional y la magnitud absoluta de por ejemplo un valor de -0,50 es más alta que el valor de +0,40 (Muñiz, J. 2001).
2.5. Sensibilidad al cambio: se refiere a la medida que detectan de modo confiable las más pequeñas variaciones de un atributo, por lo general antes o después de una intervención de conocida eficacia en estudios longitudinales. (Polit, D. y Hungler, B. 2000; Badía, X. y Baró, E. 2001).
48