Meso environment

Los resultados que se exponen a continuación se han organizado en tres apartados. Siguiendo la distinción realizada en estudios previos (Heene et al., 2011), el primer apartado hace referencia a aquellos índices de ajuste descriptivo (χ2

0, RMSEA y SRMR) que son

insensibles a la sobreparametrización y que podrían confundir al investigador aplicado ya que ofrecen valores que cumplen con las recomendaciones generales de ajuste. El segundo hace referencia a aquellos índices (NNFI y CFI) que utilizan el valor de χ2

Null en su formulación,

comparándolo con el valor de χ2

0 en función de sus respectivos grados de libertad. Por último,

se valoran los resultados obtenidos para los índices ECVIr, AICr y CAICr, que no recibieron

atención en la literatura previa y que se proponen en este trabajo como índices alternativos de aproximación. Estos tres apartados se consideran nuevamente en el ESTUDIO 2 (datos ordinales y dicotómicos).

Los resultados se han organizado realizando dos tipos de comparaciones. Se ha comparado si los índices descriptivos de ajuste permiten diferenciar entre soluciones T1 y T2. A continuación, se valora el grado en el que cada índice se relaciona con el ajuste teórico de los modelos estimados dentro de las soluciones T1, comparando distintos niveles de Cj. Esta

comparación en función del nivel de ajuste teórico se muestra al final del apartado 3.2.3 del ESTUDIO 2.

χ2

0, RMSEA y SRMR

A nivel descriptivo, se observa que tanto el valor de χ2

0, como su nivel crítico (p-value),

cuando se mantiene la H0 del modelo de independencia (soluciones T2). Esto es, cuando el

modelo evaluado puede equipararse estadísticamente con el modelo de independencia poblacional se obtienen valores más bajos de χ2

0, RMSEA y de SRMR, lo que refleja un mayor

ajuste. A nivel promedio, los resultados que reflejan estos índices cumplen con los puntos de corte y con las recomendaciones habituales (por ejemplo, Marsh et al., 2005) en la inmensa mayoría de las condiciones simuladas (Anexos).

Estudios previos (Heene et al., 2011) mostraron que estos índices son insensibles a la sobreparametrización de los modelos, en el sentido de ofrecer valores indicativos de ajuste según las recomendaciones habituales en situaciones en las que existe un elevado grado de unicidad. En resumen, uno de los aspectos en los que inciden estos autores es que el aumento de la unicidad deriva en una considerable pérdida de potencia estadística del test χ2

0 y de los

índices RMSEA y SRMR (índices que se obtienen a partir de la comparación entre la matriz de varianzas-covarianzas empírica y reproducida). En consecuencia, los valores que se obtienen tras la estimación de los modelos tienden a ser bajos. No obstante, si bien nuestros resultados son coherentes con esta falta de sensibilidad, la distinción entre soluciones T1 y T2 nos ha permitido dar un paso más en la interpretación de este tipo de resultados. Más concretamente, la comparación del comportamiento de estos índices entre las soluciones T1 y T2 podría indicar que no se obtienen valores más ajustados a medida que aumenta la unicidad, como plantearon dichos autores. Donde se produce un mejor comportamiento de los índices es en las soluciones T2, manteniéndose de forma más o menos constante en las soluciones T1 (independientemente de la magnitud de la carga factorial simulada). En caso de no poner a prueba la H0 del modelo

de independencia, unos resultados se combinan con otros, mostrando que los índices mejoran a medida que las cargas factoriales simuladas son más bajas. En la Figura 8 se muestra la distribución del valor promedio del nivel crítico de χ2

Figura 8. Promedio nivel crítico de χ2

0 en función del test χ2Null. Datos continuos, estimación ML

En la figura anterior puede observarse cómo en las soluciones T1 (“H. alternativa”), el valor promedio del nivel crítico de χ2

0 se mantiene de manera más o menos constante en todas

las condiciones analizadas, incluso llegando a disminuir cuando λ_ij = 0,2. Por el contrario, es en las soluciones T2 en donde el nivel crítico se aleja más del nivel de significación α = 0,05. Esta situación se refleja todavía más claramente en aquellas condiciones en las que no existen soluciones T2, como en n = 15 o en n = 7 y N = 500. Estas tendencias son prácticamente idénticas al comparar los valores promedio de RMSEA y SRMR. Por tanto, si no se identifican y eliminan previamente las soluciones T2, estos valores promedio se combinan dando lugar a una mejoría en el comportamiento de estos índices a medida que aumenta la unicidad. No existe

λij χ 2 0 (p -v al u e)

constancia de que en el estudio de Heene et al. (2011) se haya realizado este proceso de pre- evaluación. No obstante, conviene señalar que las cargas factoriales estimadas son sistemáticamente más bajas en las soluciones T2 (ver Anexo F), por lo que parece que finalmente sí mejora el ajuste a medida que aumenta la unicidad. Estos resultados parecen poner de relieve una situación compleja que requeriría de una mayor profundización y análisis, lo que excede los objetivos del presente trabajo. En cualquier caso, ninguno de estos índices resulta de utilidad para detectar los problemas evaluados en el presente trabajo, existiendo claros problemas de potencia como sí indicaron los autores citados.

NNFI y CFI

Comenzando por NNFI, los resultados obtenidos indican dos aspectos de interés: el primero hace referencia a la fuerte tendencia de este índice a obtener valores fuera del rango de las recomendaciones habituales. Aunque NNFI se suele interpretar de forma similar a CFI (valores próximos a 1 indican un buen ajuste del modelo, asumiendo un rango de valores entre 0 y 1), puede adoptar valores fuera de rango (Bentler, 1990; Mulaik, 2009). Nuestros resultados indican que existe una fuerte tendencia de NNFI a presentar valores fuera de rango especialmente en las soluciones T2, aunque también en las soluciones T1 (Anexos). En otras palabras, los valores fuera de rango son más extremos en T2 que en T1. Por lo tanto, parece que NNFI no es un índice recomendable cuando se realizan este tipo de pre-evaluaciones, ya que plantearía el problema de qué valores fuera de rango indican desajuste o una buena aproximación. El segundo aspecto de interés, a nivel de tendencias, es que los mayores desajustes se producen en T2, invirtiéndose así la tendencia observada en χ2

0, RMSEA y

SRMR. Este segundo aspecto también se ha podido observar respecto al índice CFI. En el caso de este último índice no existen problemas de valores fuera de rango, ya que la elaboración de

CFI no permite obtener valores por debajo de 0 o por encima de 1. En la mayoría de las condiciones simuladas el valor de CFI es inferior en las soluciones T2 que en las T1, obteniendo valores promedio dentro de los puntos de corte recomendados en las condiciones con más indicadores y con mayor número de observaciones. No obstante, un problema que presenta este índice es que en varias de estas condiciones se obtienen promedios dentro de los rangos recomendados también en las soluciones T2. Excede de los objetivos del presente trabajo ofrecer justificaciones sobre los motivos por los que esto sucede. Tal vez no sea un problema de los índices sino de los puntos de corte establecidos (en este sentido, podría ser más adecuada la utilización de NFI y de RFI, en Anexos). También convendría revisar si las condiciones de aplicación en las que se fundamentan los puntos de corte (modelos multidimensionales, infraparametrización; ver Hu y Bentler, 1998, 1999) son comparables a las desarrolladas en este trabajo.

Heene et al. (2011) también analizaron el índice CFI y obtuvieron resultados distintos, esto es, CFI era mayor a medida que aumentaba el nivel de unicidad. Estos autores indican que, dado que este índice compara el valor de χ2

0 con el de χ2Null, disminuyen las diferencias entre

ambos valores de χ2 _{a medida que aumenta la unicidad. En la Figura 9 se muestran los valores}

promedio de CFI para las soluciones T1 y T2 calculados en el presente trabajo. Estos resultados podrían explicar, al menos en parte, las diferencias con los resultados obtenidos en la investigación previa. En el nivel de λ_ij = 0,3 las soluciones T2 tienen un promedio en CFI igual o superior al de las soluciones T1 en varias de las condiciones, resultado similar al encontrado por Heene et al. (2011). Estos autores centraron su evaluación en valores simulados de λ_ij entre 0,3 y 0,4. Conviene señalar también que entre el estudio presentado por estos autores y los estudios realizados en el presente trabajo existen importantes diferencias de diseño (en el estudio previo se utilizaron modelos con tres factores, con n = 15 y 45, y sin proceso de pre-

evaluación). La comparación entre los resultados previos y los presentados en este trabajo debe realizarse con mucha cautela, requiriendo de investigación adicional.

Figura 9. Promedio de CFI en función del test χ2

Null. Datos continuos, estimación ML

ECVI, AIC y CAIC

Recordemos que los índices que se presentan a continuación se han elaborado dividiendo el valor asociado al modelo de independencia por el valor asociado al modelo evaluado y que estos índices reflejan mayor ajuste comparativo cuanto menor es su valor. Un valor por encima de 1 indica que cualquiera de estos índices aplicado sobre el modelo de independencia es mayor que el aplicado sobre el modelo evaluado, por lo que resulta mejor este último (ajusta mejor).

CF

I

Los resultados muestran un comportamiento muy similar entre ECVIr y AICr, de forma

coherente a los comentarios realizados sobre estos índices al final del Capítulo 2. Los análisis realizados reflejan la tendencia a obtener sistemáticamente valores de ECVIr y AICr > 1 en las

soluciones T1, y más elevados que los obtenidos en las soluciones T2. En las peores condiciones de simulación incluso estos índices llegan a obtener valores promedio por debajo de 1, especialmente ECVIr. A medida que aumenta el número de variables observables, AICr obtiene

valores promedio por encima de 1 en T2 incluso en las condiciones λ_ij = 0,2 y N = 200 – 300, aunque claramente diferenciados de los valores obtenidos en T1 (Anexos). Para simplificar la exposición de resultados hemos escogido solamente el índice ECVIr al ser el que cuenta con

más respaldo entre distintos autores, tal y como refleja la RPP, y al ser el índice recomendado en la estrategia de pre-evaluación propuesta en este trabajo. Adicionalmente, elegimos este índice por tener una lógica directamente relacionada con la replicabilidad de la estimación del modelo AFC en nuevas muestras. Por su parte, si bien CAICr sigue la lógica recién expuesta,

los resultados obtenidos reflejan un resultado más conservador, ya que se obtienen valores promedio > 1 solamente en las soluciones T1 y en condiciones en las que se simulan más indicadores y más observaciones.

A diferencia de los índices de ajuste analizados más arriba (χ2

0, RMSEA, SRMR, NNFI

y CFI), tanto ECVIr como CAICr muestran una mejoría clara en las soluciones T1 a medida que

aumenta el nivel de carga factorial simulado (ver Figuras 10 y 11). Además, estos índices no solo resultan sensibles a la presencia de soluciones T1 y T2 (a diferencia de χ2

0, RMSEA y

SRMR) sino que su buen comportamiento de refleja de manera sistemática en las condiciones simuladas (a diferencia de CFI).

Figura 10. Promedio de ECVIr en función del test χ2Null. Datos continuos, estimación ML

Figura 11. Promedio de CAICr en función del test χ2Null. Datos continuos, estimación ML.

C

AI

Cr