Conscience Theory and Common Law Estoppel

El diseño de diferencias en diferencias es considerado el más riguroso de los diseños cuasi- experimentales. Este diseño busca solucionar los problemas de validez interna presentes en los diseños con controles reflexivos y sólo después con grupos de control equivalentes. Para esto usa información de los grupos de tratamiento y control en la situación sin y con proyecto, es decir, agrega una línea de base a la evaluación. En el diagrama 21 se muestran los elementos que componen este diseño. Al igual que los diseños analizados anteriormente, el de diferencias y diferencias se puede aplicar cuando se dispone de una medición antes y después, o múltiples mediciones en ambos períodos de tiempo.

Diagrama 21

DISEÑO DE DIFERENCIAS EN DIFERENCIAS

Fuente: Elaborado por los autores con base en Shadish, Cook y Cambell (2002).

A continuación se describen las actividades a seguir para estimar el impacto en el diseño diferencias en diferencias. Al igual que en el diseño anterior, se inicia con la actividad 4 porque se deben desarrollar previamente las tres actividades analizadas al inicio de la opción 2 de evaluación.

Actividad 4: Estimar las diferencias del grupo de

tratamiento y control antes de la implementación del

programa

La característica fundamental que debe cumplir un grupo de control es que sea lo más similar posible al grupo de tratamiento antes de la implementación del programa. Dado que los grupos de tratamiento y control no fueron asignados aleatoriamente, es posible que el grupo de control difiera del grupo de tratamiento de forma significativa en algunas de sus características observables y no observables. Es decir, la selección probabilística de los miembros del grupo de control en los municipios de control no necesariamente garantiza que los grupos sean similares, aún habiendo realizado el ejercicio de pareo para seleccionar estos municipios.48

X

Después

(Situación con proyecto)

Programa

Y

t+1

Y

t+2

Y

t+3

Y

t+4

Y

t+n

Y

_t+1

Y

_t+2

Y

_t+3

Y

_t+4

Y

_t+n

T

C

Antes

(Situación sin proyecto)

Y

_t-4

Y

_t-3

Y

_t-2

Y

_t-1

Y

_t-4

Y

_t-3

Y

_t-2

Y

_t-1

Y

_t-n

Las diferencias entre el grupo de tratamiento y control en la situación sin proyecto se calculan comparando el valor promedio de los indicadores de impacto para los dos grupos antes de haberse iniciado la implementación del programa (ver Ecuación 8).

∑

∑

= =

−

=

n T i n T i

Y

n

Y

n

Diferencia

0 0 1 1

1

1

[8]

Donde, n1 es el número de individuos que conforman el grupo de tratamiento (T=1) y n0 el número de individuos en el grupo de control o comparación (T=0); y Y es la variable de impacto.

En la tabla 17 se muestra el valor de estos indicadores para el grupo de control y tratamiento en la situación sin proyecto, las diferencia entre los grupos y la significancia estadística de estas diferencias utilizando el t-estadístico. Como se observa los grupos son similares en la mayoría de los indicadores. Sin embargo, las pocas diferencias ocurren en indicadores relevantes como en el porcentaje de niños que no pudieron realizar sus actividades normales durante los últimos quince días, el porcentaje de niños que viven en hogares con NBI de hacinamiento crítico y dependencia económica. Con menor nivel de confianza (80%) están los años de educación de la madre, el ingreso total del hogar y el porcentaje de niños que viven en hogares en pobreza crónica (pobres por NBI e ingresos).

Tabla 17

DIFERENCIAS ENTRE LOS GRUPOS DE CONTROL Y TRATAMIENTO EN LA SITUACIÓN SIN PROYECTO

Variables Tratamiento Control Diferencia t-estadístico

Indicadores de impacto

Número de visitas de crecimiento y desarrollo 2.05 2.00 0.050 0.0368 Porcentaje de niños en riesgo de desnutrición

(peso/edad)

0.10 0.17 -0.067 1.2119

Porcetnaje de niños en riesgo de desnutrición (peso/talla)

0.24 0.17 0.071 1.0792

Tasa de incidencia de la diarrea 0.09 0.08 0.004 0.0927 Duración de la diarrea (días) 0.51 0.36 0.151 0.5174 Duración de la gripa (días) 6.68 6.53 0.151 0.1304 % niños que no pudieron realizar las actividades 0.22 0.40 -0.171 1.7886** Número de días que no pudieron realizar las

actividades normales

0.88 1.09 -0.216 0.5314

Número de días que tuvieron que guardar cama 2.27 2.24 0.038 0.0391

Variables del niño

Porcentaje de hombres 0.53 0.47 0.053 0.6464 Edad (meses) 43.70 45.86 -2.161 0.6293

Variables de la madre

Edad 29.99 30.58 -0.596 0.4807 Estado civil casado o compañero 0.70 0.79 -0.092 1.2906 Años de educación de la madre 6.95 7.67 -0.721 1.4441* Participación en organizaciones civiles o

religiosas

0.14 0.18 -0.041 0.6900

Variables del hogar

Número de niños en el hogar 2.03 2.08 -0.058 0.3958 NBI de vivienda (%) 0.14 0.17 -0.029 0.4981 NBI de servicios (%) 0.88 0.90 -0.028 0.5395 NBI de hacinamiento crítico (%) 0.40 0.54 -0.142 1.7541** NBI de dependencia económica 0.44 0.25 0.188 2.4539*** Porcentaje de hogares pobres por NBI 0.325 0.2916 0.033 0.4413 Porcentaje de hogares pobres extremos por NBI 0.625 0.6666 -0.042 0.5329 Ingreso total de hogar (mensual) 369 730 472 703 -102 973 1.5197 Ingreso per cápita del hogar (mensual) 65 420 70 261 -4 841 1.365* Porcentaje de hogares pobres por ingreso (H) 0.9558 0.9843 -0.029 0.9504 Porcentaje de hogares pobres extremos por

ingreso (H)

0.7647 0.6406 0.124 1.5642*

Porcentaje de hogares pobres extremos por NBI e ingresos

0.50 0.375 0.125 1.4467*

Variables del municipio

Porcentaje de hogares pobres por NBI 19.39 21.86 -2.5 n.a. Índice de calidad de vida 81.80 81.10 0.7 n.a. Número de hospitales 1.00 0.67 0.3 n.a. Número de centros de salud 3.00 0.33 2.7 n.a. Número de puestos de salud 14.00 - 14.0 n.a. Número de otras instituciones de salud 24.00 33.00 -9.0 n.a.

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa Familias en Acción

publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Nota: (1) En la columna del t-estadístico se indica con tres asterisco si la diferencia entre los grupos es significativa al 95%

de confianza, con dos al 90% y uno al 80%. (2) El ingreso per cápita está en pesos colombianos.

En conclusión, los grupos de tratamiento y control no son similares en todas sus características, y por lo tanto debe tenerse en cuenta que los resultados que se obtienen a continuación podrían sufrir en alguna medida sesgo de selección causado por las diferencias encontradas. Además, sigue siendo posible que los grupos de tratamiento y control difieran en características que no son observables.

Actividad 5: Calcular los indicadores de impacto para el grupo de tratamiento en la situación sin y con proyecto

Esta actividad se realizó para estimar el impacto del Programa aplicando el diseño con grupos de control reflexivos. Los resultados se muestran en la actividad 2 de esta opción de evaluación. En la tabla 18 se muestra esta información más la diferencia entre la situación con y sin proyecto para el grupo de tratamiento.

Tabla 18

INDICADORES DE IMPACTO PARA EL GRUPO DE TRATAMIENTO EN LA SITUACIÓN SIN Y CON PROYECTO Indicadores de impacto Sin proyecto (a) Con proyecto (b) Diferencia (c=b-a)

Ingreso per cápita del hogar (mensual) 65,419.92 74,101.01 8,681.09

Tasa de incidencia de la diarrea (porcentaje)

8.75 10.00 1.25

Duración de la diarrea (días) 0.51 0.55 0.04

Duración de la gripa (días) 6.14 5.61 -0.53

Tasa de inactividad (porcentaje) 22.44 29.26 6.82

Porcentaje de niños que tuvieron que permanecer en cama

63.63 75.00 11.37 Porcentaje de niños en riesgo de

desnutrición (pesos/edad)

10.81 0.00 -10.81 Porcentaj de niños en riesgo de

desnutrición (peso/talla)

25.68 1.25 -24.43

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa Familias en Acción

publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Nota: El ingreso per cápita está en pesos colombianos.

Actividad 6: Calcular los indicadores de impacto para el grupo de control en la situación sin y con proyecto

Al igual que para el grupo de tratamiento, se debe calcular la situación de los indicadores de impacto para el grupo de control con y sin proyecto, estimando la diferencia. Los resultados se muestran en la tabla 19.

Tabla 19

INDICADORES DE IMPACTO PARA EL GRUPO DE TRATAMIENTO EN LA SITUACIÓN SIN Y CON PROYECTO Indicadores de impacto Sin proyecto (d) Con proyecto (e) Diferencia (f=e-f)

Ingreso per cápita del hogar (mensual) 79,260.69 142,385.50 63,124.81 Tasa de incidencia de la diarrea

(porcentaje)

8.33 11.11 2.78

Duración de la diarrea (días) 36.11 0.44 -35.67

Duración de la gripa (días) 6.53 6.96 0.43

Tasa de inactividad (porcentaje) 39.53 38.46 -1.07

Porcentaje de niños que tuvieron que permanecer en cama

76.47 73.33 -3.14 Porcentaje de niños en riesgo de

desnutrición (pesos/edad)

18.46 4.17 -14.29

Porcentaj de niños en riesgo de desnutrición (peso/talla)

18.46 6.94 -11.52

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa Familias en

Acción publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Actividad 7: Calcular el impacto

El impacto en el modelo de diferencias en diferencias se obtiene comparando las diferencias en los indicadores de impacto para el grupo de tratamiento en la situación con y sin proyecto. En esta estimación es útil construir una matriz que relaciona el valor de los indicadores de impacto en cada uno de estos momentos del tiempo para cada uno de los grupos. Por simplificación esta matriz se construyó para el indicador que mide el riesgo de desnutrición a través de los estándares de peso/talla. En el cuadro 22 se muestra la forma de la matriz especificando la fórmula de cálculo de cada una de sus casillas. Para mayor claridad se hace referencias a las letras utilizadas en las tablas 15 y 16.

Cuadro 22

MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (TEÓRICA)

Grupo de

tratamiento

Grupo de control

Diferencia

Situación sin proyecto a d g=(d-a)

Situación con proyecto b e h**=(e-b)

Diferencia c* f Impacto I=(c-f) ó I=(h-g)

* Corresponde al impacto estimado con grupos de control reflexivos.

** Corresponde al impacto estimado con el diseño de sólo después con grupos de control equivalentes.

En el cuadro 23 se muestra que, de acuerdo con el diseño de diferencias en diferencias, el programa disminuyó el riesgo de desnutrición en 12.91 puntos porcentuales.

Cuadro 23

MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (RESULTADOS) Grupo de tratamiento Grupo de control Diferencia

Situación sin proyecto 25.68 18.46 7.21

Situación con proyecto 1.25 6.94 -5.69

Diferencia -24.43 -11.52 -12.91

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa

Familias en Acción publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Finalmente, el impacto también puede ser estimado aplicando modelos econométricos. La especificación general del modelo es la siguiente:

µ

α

α

α

α

+

+

+

+

=

P i T i PT i i i

P

T

T

P

Y

0

*

[9]

La ecuación 9 combina las variables P y T que representan el tiempo de la medición (sin=0 y con proyecto=1) y el grupo al que pertenece el individuo (tratamiento=1 o control=0). En este modelo el impacto se mide a través el efecto de la interacción entre estas dos variables (T*P) en el indicador de impacto Y. De este modo, el coeficiente de impacto es

α

_PT. Usando la matriz de impacto del cuadro 22 es sencillo demostrar que

α

_PT es el impacto del programa. En el cuadro 24 se muestran los coeficientes de regresión que miden los indicadores de impacto para el grupo de tratamiento y control en la situación sin y con proyecto, y el impacto del Programa.

Cuadro 24

MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (TEÓRICA) Grupo de tratamiento Grupo de control Diferencia

Situación sin proyecto

T

α

α +

0

α

0

α

T

Situación con proyecto

PT T P

α

α

α

α

0

+

+

+

α +

0

α

P

α +

T

α

PT Diferencia PT P

α

α +

α

P Impacto PT

α

En la tabla 20 se muestra el impacto del Programa estimado a partir de la ecuación 9. Como se observa el Programa no produjo ningún impacto estadísticamente significativo con excepción de la disminución en el riesgo de desnutrición. Estos resultados son consistentes con los obtenidos en los diseños con grupos de control reflexivos y sólo después con grupos de control no equivalentes.

Tabla 20

IMPACTO DEL PROGRAMA MEDIDO CON EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS

Indicadores de impacto 37 Error estándar t-test (z en el Probit)

Ingreso per cápita del hogar (mensual) -54,443.68 50,580.87 -1.08 Tasa de incidencia de la diarrea (porcentaje) -0.09 0.40 -0.22 Duración de la diarrea (días) -0.05 0.42 -0.11 Duración de la gripa (días) -0.97 1.39 -0.69 Tasa de inactividad (porcentaje) 0.24 0.40 0.60 Porcentaje de niños que tuvieron que

permanecer en cama

0.05 1.95 0.02

Porcentaje de niños en riesgo de desnutrición (peso/talla)

-0.12 0.04 -1.99

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa Familias

en Acción publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Comparando los resultados del diseño de diferencias en diferencias acerca del impacto del Programa en el riesgo de desnutrición con los obtenidos en los otros diseños, se concluye que al utilizar el diseño con controles reflexivos se sobreestimaría el impacto y en el caso del diseño de sólo después se subestimaría. En promedio el impacto calculado con controles reflexivos es un 50% mayor al estimado con diferencias en diferencias. En el caso del diseño de sólo después el resultado es contrario, subestimándose el impacto en cerca de 50% (ver gráfico 8).

Gráfico 8

IMPACTO DEL PROGRAMA EN EL RIESGO DE DESNUTRICIÓN AL PRIMER AÑO DE EJECUCIÓN SEGÚN DIFERENTES DISEÑOS DE EVALUACIÓN DE IMPACTO

-24.43 -5.69 -12.91 -30.00 -25.00 -20.00 -15.00 -10.00 -5.00 -

Diseño con controles reflex iv os

Diseño sólo después con grupos de comparación

equiv alentes

Diseño de diferencias en diferencias con grupos de

control no equiv alentes

Punt os por c ent u ale s

Fuente: Elaborado por los autores con base en información de la evaluación de impacto del programa Familias en

Acción publicada en la página de Internet del Departamento Nacional de Planeación de la República de Colombia.

Actividad 8: Incluir los factores exógenos en el cálculo de los indicadores de impacto

Los resultados obtenidos al incluir las variables que miden los factores exógenos al Programa mostraron que no existe una asociación estadísticamente significativa entre estos factores y los indicadores de impacto. Sólo en el caso del porcentaje de niños en riesgo de desnutrición se encontró una asociación significativa con la edad de los niños. El cambio en el indicador al incluir esta variables fue mínimo, disminuyendo el impacto del programa a 11.99 puntos porcentuales.

Actividad 9: Analizar de diagrama del flujo de la evaluación

Es el mismo al análisis que se realizó en el diseño de sólo después con grupos de control no equivalentes.

En conclusión, la aplicación del diseño de doble diferencia aumenta la confiabilidad de los resultados obtenidos al estimar el impacto del programa. Contar con información de línea de base permite determinar la similitud entre los grupos de control en la situación sin proyecto, identificando o descartando la posibilidad de sesgo por selección. Asimismo, contar con información sobre el grupo de control antes y después de la implementación del programa ofrece

grupos, y por tanto se neutralice su incidencia en los indicadores de impacto. Aunque el diseño de diferencias en diferencias tiene múltiples ventajas en comparación con los otros diseños cuasi- experimentales se debe tener en cuenta que siempre la sobrestimación o subestimación del impacto es una amenaza si los supuestos del diseño no se cumplen. En especial, el supuesto que los factores exógenos afectan en igual magnitud tanto al grupo de tratamiento como de control. Además, la confiabilidad de los resultados depende en gran medida en que se seleccione un grupo de control lo más similar posible al grupo de tratamiento en la situación sin proyecto. Respecto a este último punto, vale la pena mencionar que los diseños con grupos de control no equivalentes se combinan frecuentemente con el método de pareamiento por probabilidad de similitud (propensity score

matching) que busca minimizar las diferencias entre los miembros del grupo de tratamiento y

control.49

In document The reliance basis of estoppels by conduct (Page 88-92)