RESUMEN GERRING Y CHRISTENSON CAP 8

Vista previa del material en texto

RESUMEN GERRING Y CHRISTENSON CAP 8 
 
Diseños observacionales con N grande 
Hay muchos problemas inherentes al diseño experimental. Suele argumentarse que los experimentos tienen 
más validez interna que los estudios no experimentales. Esto puede discutirse diciendo que los experimentos 
son imposibles o que no tienen validez externa. Esto podría justificar la predominancia de los diseños 
observaciones en la ciencia. 
En este capítulo, Gerring y Christenson estudian los análisis de muestras grandes sin aleatorización (antes 
vimos muestras chicas no aleatorias con estudio de casos). Hay 5 diseños clásicos: cross-section (CS), time-
series (TS), time-series cross-section (TSCS), regresión discontinua (RD) y variable instrumental (IV). Estos 
términos están definidos por la variación observada en X, el factor causal de interés o el instrumento por el 
cual el tratamiento es asignado (es importante tener en cuenta que la mayoría de estos términos también 
tienen una definición más estrecha y técnica). La complejidad de estos métodos comparados con los 
experimentales residen en que si no se puede manipular el tratamiento, se necesita tener un poco de 
manipulación de datos ex post para poder llegar a resultados que puedan tomarse como evidencia de una 
relación causal. 
Cross-sectional study (CS) o estudio transversal 
La variación en x es analizada a través de las unidades pero no a través del tiempo. En condiciones de 
programas de participación voluntaria no puede hacerse una comparación entre el grupo de tratamiento y 
grupo de control porque hay distintos motivos que pueden afectar los resultados. Por ejemplo; si para ver los 
rendimientos de un programa de desempleo comparamos a la gente desempleada que participó con la gente 
desempleada que no asistió midiendo sus ganancias, debemos tener en cuenta que estas pueden estar 
afectadas por sus ganas de trabajar, que influyen en la probabilidad de que participen en estos talleres y en 
su desempeño laboral. Por esto, los factores de fondo no son los mismos en los dos grupos así como el valor 
esperado de Y con una X esperada no es el mismo entre los dos tampoco. 
El confounder problemático en este caso es un confounder de causa común, que se llama así porque impacta 
en el factor causal (X) y en el outcome (Y). 
 
Hay distintas maneras de encarar este problema, el más simple y común es condicionar sobre Z (el confounder 
potencial). O sea, en vez de mirar la relación entre Y en X solos, ahora vemos la relación X—>Y manteniendo 
Z constante. 
La forma más fácil de explicarlo es tomando una Z binaria (por ejemplo: tienes motivación o no). Ahora, podrías 
armar una matriz 2x2 (Figura 8.3 del texto) y comparar los valores de Y con X=0 y X=1 en un escenario de Z=0 
constante. Restando Yx=0 con Z=0 y Yx=1 con Z=0 obtenemos el efecto causal para todos los casos con Z=0. 
Después, hacemos lo mismo con Z=1. 
Nota: Lo descripto arriba es la forma manual de hacerlo, pero se puede reemplazar con estimadores (ej: 
regresión o matching) que pueden considerar un amplio número de confounders. 
Problemas potenciales; 
• Debemos asumir que medimos bien el confounder, PERO hay algunos confounders difíciles de medir (Ej: 
motivación en los desempleados, todo el mundo te va a decir que está motivado) porque mienten o 
porque no saben medir lo que les están preguntando (que sería estar motivado?) 
• Debemos asumir que consideramos todos los confounders PERO podríamos estar omitiendo variables; 
pueden existir muchos confounders que no estamos considerando. 
• Debemos asumir que todos los factores incluidos como control en el análisis son efectivamente 
confounders PERO si no lo son podrían arruinar el análisis que venía bien. Podemos estar agregando 
factores que son afectados por el tratamiento (un confounding factor es causalmente previo al 
tratamiento) porque Z (el confounder post-tratamiento) bloquea el efecto causal de X en Y. Ej: medir 
motivación luego de una charla motivacional. 
 
• Otro problema es el “collider”. Una variable es un colisionador (collider) cuando está influenciada 
causalmente por dos o más variables. EJ: la afiliación sindical (z) puede estar condicionada por participar 
en un programa de entrenamiento laboral (X) y por las ganancias (Y), esto generaría una relación en la cual 
dos acontecimientos no tienen conexión causal. 
 
• Siguiendo el ejemplo anterior, si la entrada al programa es voluntaria, deberíamos esperar que el outcome 
(ganancias) modifique la participación. EJ: si el programa es pago, los que ganan mas podrían participar 
más. Hay una especie de circularidad entre la causa y el efecto que sesga el análisis. 
 
Aclaro: por si pide en el parcial, el texto da un ejemplo de un estudio usando CS (como también de los otros 
métodos que vamos a ver a continuación). 
Time- Series Designs (TS) 
Habiendo visto las complicaciones de CS con data no experimental, concluimos que es difícil compensar las 
virtudes de la aleatorización en un tratamiento no aleatorio. Al final, es muy difícil establecer con seguridad 
comparaciones causales entre el grupo de tratamiento y el de control. 
Otra opción para enfrentar esto es el Time- Series Design, donde uno prescinde del grupo de control y se 
enfoca enteramente en el grupo de tratamiento y lo compara a través del tiempo (antes y después del 
tratamiento) para intentar observar relaciones causales. De esta manera, estaríamos pensando en condiciones 
de tratamiento y control (más que en grupos); la condición pre-tratamiento es el control y la post-tratamiento 
el grupo de tratamiento. 
Hay tres tipos de time-series research design: 
• El más simple tiene un solo tratamiento con pre y post-tests. Ej: medir las ganancias de un grupo de 
desempleados que asisten a un taller de entrenamiento laboral antes y después de haber participado. 
• El segundo tipo tiene un único tratamiento acompañado por múltiples pre- y post-tests. Esto se llama 
interrupted time-series. Ej: medir las ganancias de un grupo de desempleados en intervalos mensuales 
por muchos años anteriores y posteriores de participar en el taller de entrenamiento laboral. 
• El tercer tipo involucra iteración (repetición) de un único tratamiento. Esto se conoce como repeated 
observations design. Ej: observar un grupo de desempleados que van a uno o más de estos talleres por 
muchas décadas, midiendo su ingreso cada año. 
Estos tres tipos de diseños son similares pero el segundo y tercer tipo tienen algunas ventajas por sobre el 
primero. Desafortunadamente, en TS también existen confounders (factores que se relacionan con el 
tratamiento y el outcome). 
• Ej: una subida del nivel de motivación a través del tiempo por el nacimiento de un hijo, esto motivaría a 
la persona a 
o unirse a un taller laboral 
o renovar sus esfuerzos en conseguir trabajo. 
Como resultado, tendríamos una tendencia en aumento a través del tiempo; el valor de Y con la misma X 
no sería igual en T1 (tiempo 1) y T2. 
Hay una tendencia en el tiempo muy común: regresión a la media, que consiste volver al estado normal de las 
cosas. Ej: un desempleado encuentra empleo porque se puso a buscarlo después de que su cuenta de banco 
esté en 0 (no por un programa de empleo). Hay una esperanza de poder ver el problema de las tendencias 
preexistentes examinando una trend-line (aunque necesitas mucha información). 
Time- Series Cross-Section Designs (TSCS) 
Este diseño combina los dos anteriores haciendo combinaciones temporales y espaciales (entre unidades y a 
través del tiempo). Típicamente involucra mediciones repetidas en una serie de unidades, observadas a través 
del tiempo. Ej: observar individuos todos los años durante 20 años estableciendo un panel de 20 observaciones 
a través del tiempo. Nota: si falta información para alguna unidad en algún momento, se genera un 
“unbalanced” panel. 
A veces las observaciones no son siempre sobre la misma unidad, sino sobreunidades elegidas aleatoriamente 
de una población más grande; esto se llama pooled cross-section. Ej: una encuesta a 2000 individuos por 20 
años en la que cada año se trabaja con distintos paneles. 
El método diferencias-en-diferencias (DD) es una variedad de TSCS porque ve desea estimar el efecto causal 
de un cambio en el outcome del grupo de tratamiento contrastado con el outcome en el grupo de control. 
Una ventaja de este método es que en CS (cross-sectional) para hacer una inferencia causal necesitás que 
todos los factores que puedan impactar en el outcome sean iguales en los grupos de tratamiento y control. En 
DD, necesitás que los “changing background factors” sean iguales en promedio, en los dos grupos (algo más 
fácil de satisfacer porque suponemos que en un período corto de tiempo los factores cambian de manera 
lenta). 
El diseño DD es mas robusto que CS o TS, los factores históricos no son problemáticos siempre que afecten de 
igual manera a los grupos de control y tratamiento. Los confounders circulares son menos problemáticos 
porque es menos probable que afecten a Y en los dos grupos. Aunque los mechanismic confounders podrían 
persistir, aunque como el número de confounders es mucho más chico en DD que en otros diseños, es menos 
probable confundirse. 
Crítica a TSCS: como el tratamiento no es asignado aleatoriamente, uno no podría esperar que el grupo de 
tratamiento y el de control sean iguales en las características que son relevantes para el outcome. Si uno 
escoge en que grupo estar, no podemos esperar que los miembros de los dos grupos tengan respuestas con 
tendencias iguales; los que eligen ser parte del tratamiento deberían reaccionar de manera más positiva. De 
esto se desprende que un efecto causal calculado con TSCS es generalmente mejor comprendido como un 
efecto promedio para el tratamiento más que un efecto promedio para el tratamiento y el control. 
Regresión discontinua (RD) 
Un grupo recibe el tratamiento y otro conforma un control y post-test se mide el outcome de interés. Se 
establece un criterio de asignación de tratamiento con un punto de corte que separa las unidades tratadas de 
las no tratadas y se estudia las unidades cercanas a ese punto; no debería haber diferencias sustantivas entre 
ellas. Este es uno de los diseños observaciones que más se acerca a un diseño aleatorio (ej: experimentos). 
Debilidades: 
1. el punto de corte no es rígidamente observado si la aceptación a participar depende de un jurado 
2. si los sujetos conocen el punto de corte, pueden querer pasarse de un lado a otro según les sea 
conveniente 
3. tiene que haber suficientes unidades sobre y bajo del punto de corte o alternativamente tenés que confiar 
mucho en las covariables utilizadas para controlar las diferencias 
4. La generalidad del estudio queda limitada porque estudia mucho las unidades cercanas al corte, lo cual 
excluye a las de los extremos 
Variable instrumental (IV) (según Gervasoni es secundario) 
Hemos visto que asignar un tratamiento causal no aleatorio abre la puerta a la aparición de confoundings. Una 
solución parcial aparecería si al menos un factor influenciando la asignación al tratamiento no tiene 
confoudings. Este instrumento te da la oportunidad de hacer un análisis en dos escenarios, utilizando un 
diseño VI. Este diseño se basa entonces en un factor que influencia la asignación al tratamiento pero no 
influencia al outcome. 
Uno usa un instrumento (Q) para establecer el valor esperado del factor causal de interés (X) que no tiene 
confoundings factors (Z). Uno examina entonces la covariación entre X e Y controlando si aparecen nuevos 
confounders para medir. 
 
Debilidades: 
1. Q puede tener un efecto en el outcome Y más que a través de X 
2. El LATE (local average treatment effect) aparece cuando las unidades se ven influenciadas a participar en 
el tratamiento por el instrumento; es muy dificil saber cuando sucede esto.