RESUMEN GERRING Y CHRISTENSON - Diseños experimentales

Vista previa del material en texto

RESUMEN GERRING Y CHRISTENSON - Diseños experimentales 
 
Experimentos con y sin confusión 
Un único tratamiento es asignado aleatoriamente a miembros de una población conocida. Algunos son 
elegidos para participar en el programa, el grupo de tratamiento, y otros son elegidos para ser parte 
del grupo de control. El efecto causal del programa es medido comparando las ganancias anuales de 
los participantes con las ganancias anuales de los no participantes años después del programa. 
➢ La asignación del tratamiento es aleatoria → todos los factores que podrían afectar son iguales en 
todos los miembros 
o La única diferencia en el experimento es entre quienes son tratados y quienes no 
➢ Comparabilidad causal → el valor esperado del outcome es el mismo para todos los grupos, 
excluyendo el factor del tratamiento recibido o no 
➢ Se comparan dos facticos para evaluar si hay un efecto causal 
➢ La diferencia entre los dos grupos se llama efecto promedio del tratamiento (ATE) ya que 
promedia los resultados entre los tratados y los no → efecto causal 
 
El no cumplimiento 
Al asignar de forma aleatoria el tratamiento, los experimentos evitan un tipo de confusión, pero 
no otros tipos y estos hay que tenerlos en cuenta. Uno de los potenciales casos de confusión es el de no 
cumplimiento. 
➢ Consiste en eventualidades no controlables. Ej.: ciertos miembros discontinúan el tratamiento o no 
lo efectúan siendo del grupo tratado. 
Distintas posturas frente al no cumplimiento son: 
➢ La estimación del efecto causal es vista como la intención de tratar (ITT) mas que ATE 
o Es importante tener en cuenta esto en los análisis cuando no se puede evitar el no 
cumplimiento → resulta mas relevante el ITT que el ATE 
➢ Se deben excluir los no cumplidores del grupo de tratamiento 
o Problema de comparación: se comparan los que cumplieron con todo el otro grupo → 
distintos grupos 
o Los no cumplidores son una realidad que no puede ser excluida: justificados por falta de 
motivación, no entendimiento u otras razones 
➢ Identificar las características que diferencian los cumplidores de los que no y usarlas como controles 
en una regresión o análisis comparativo. 
o Restaura la comparabilidad: se incluyen los que no cumplen dentro del grupo de los que 
reciben el tratamiento. 
o Es difícil identificar y medir dichas características: pueden ser actitudinales (motivación) 
lo cual las hace todavía mas difíciles de analizar 
➢ Observar la asignación aleatoria de tratamiento y los controles como un instrumento en un análisis 
de dos niveles (capitulo Instrumental Variables) 
➢ Olvidar el grupo de control entero y centrarse en la pre y post comparación de los cumplidores 
dentro del grupo de tratamiento. 
o El resultado de esto no puede ser tomado como un ATE sino como un efecto promedio de 
tratamiento en los tratados (AAT) 
o Evalúa el efecto causal entre los que recibieron el tratamiento y no en una unidad aleatoria 
extraída de la población → no generalizable 
 
Contaminación 
Un segundo problema potencial es cuando el tratamiento y las condiciones de control no son 
efectivamente aisladas una de otra y así se les “permite” contaminar una a otra. 
➢ No es un problema de laboratorio: se da en el campo cuando los sujetos pueden interactuar entre si 
durante el tratamiento 
➢ Habitualmente, se da cuando miembros del grupo de control logran recibir el tratamiento o algún 
aspecto del tratamiento → se desparrama el efecto del tratamiento 
➢ No es de solución fácil: a menos que se pueda modelar el proceso de contaminación 
 
Tratamiento compuesto 
A veces el tratamiento combina dos elementos, siendo uno único el de interés teórico. 
Usualmente, se involucran los efectos del investigador siendo el hecho de que el sujeto esta al tanto de 
que es parte de un estudio y por ende esto altera su comportamiento. Esto genera diferencias de outcome 
entre los grupos de control y de tratamiento. 
➢ Efectos Hawthorne: los efectos experimentales de saber que se es estudiado 
➢ Otro escenario es cuando los sujetos son influenciados por las características o la personalidad del 
investigador. 
El mejor enfoque de solución es rediseñar el experimento para aliviar el elemento confundidor. 
➢ Si es por el investigador, se lo puede ocultar mas de los sujetos 
➢ Si es el investigador que esta comprometido, se le pueden ocultar mas los sujetos 
➢ Si son ambos, un protocolo doble ceguera puede ser aplicado 
No siempre se puede hacer esto con lo cual los efectos del investigador son difíciles de evitar y aun 
peor, difíciles de observar. La alternativa es presentar los mismos efectos del investigador al grupo de 
control, pero esto es difícil de implementar. Además, hay otros tipos de efectos del investigador. 
 
Variedades de los experimentos 
Tipología de los diseños 
Hay que establecer un protocolo experimental siguiendo siete templados del 
 cuadro donde Xt es la condición del tratamiento y Xc es la condición de control. 
 
➢ Para cada protocolo, hace falta un test estadístico para medir el impacto de las intervenciones 
o Post test only: medir entre los dos grupos 
o Pre and post: medir antes y después de la intervención 
o Multiple post test: porque va a haber una variación a largo plazo 
o Roll out: intervenir en distintas secuencias para que se aplique el tratamiento a todos los 
grupos en diferentes tiempos. 
▪ Evitar confusiones de la primera intervención y tratar a todos 
o Crossover: para testear los efectos de las secuencias 
▪ Alterar el orden de las secuencias dentro de los distintos tratamientos permite 
evaluar la importancia de cierto orden sobre otro 
o Factorial: testear los efectos de interacción de distintas variables categóricas del 
tratamiento (con dos variables se pueden generar 4 tratamientos) 
 
Mecanismos de aleatoriedad 
La aleatoriedad es el elemento que define la experiencia. Esto implica igualdad de posibilidades de 
recibir el tratamiento. Hay muchas maneras de llevarla a cabo. 
➢ Blocking/ matching: cuando la aleatoriedad se aplica en un estrato identificado y no dentro de toda 
la muestra → dentro del estrato si hay aleatoriedad normal 
o Permite respetar la heterogeneidad sin afectar los resultados 
 
Configuración de la investigación 
➢ Investigación de laboratorio: cuando esta configurado por el investigador 
o Mas control del investigador → menos riesgos de interferencia o contaminación 
➢ Experimento de campo: cuando la configuración es natural 
o No implica que se violen protocolos experimentales, pero se debe juzgar a lo ultimo la 
experiencia con otra lente 
➢ Experimento natural: cuando hay aleatoriedad en el tratamiento de forma natural (por fuera del 
control del investigador) 
>> Mientras haya aleatoriedad con alto nivel de certeza, podemos hablar de experimento, pero sino el 
resultado del estudio es meramente observacional. 
En ambos casos nos podemos encontrar con: 
• Encuesta regular 
• Encuesta experimental: es una encuesta normal con aleatoriedad en el tratamiento 
o Se seleccionan aleatoriamente individuos para que reciban una versión de la encuesta 
distinta para generar una versión de tratamiento y de control comparables 
 
Conclusión 
• Experimento: diseño de investigación en el cual el tratamiento es asignado aleatoriamente entre 
unidades → evita confusiones de causa común y circularidad, pero no interferencias 
• No alcanza con buen conocimiento académico: para crear un buen experimento sin confusiones 
hay que tener conocimiento local (sobre el sujeto, con evidencia de calidad) 
• Hay interferencias que son inevitables → hay que poder calcularlas en el post para recuperar 
resultados objetivos, pero no siempre se puede porque hay factores no cuantificables 
o El resultado se vuelve mas de observación si hay malas correcciones “estadísticas” 
• Validez externa: la validez de los experimentos para una población masamplia de unidades. 
o El talón de Aquiles de la investigación experimental: las unidades estudiadas no suelen 
ser aleatoriamente elegidas → difícil generalización de los resultados 
o El trabajo experimental involucra una manipulación intencional 
o No se esta condenado a la trivialidad: si bien no se pueden generalizar los resultados, 
si permite acumular (experimentos en el mismo sujeto con distintas configuraciones 
permite por ejemplo evaluar que tan relevantes son las características claves de la 
unidad y compararlas → acumulación de conocimiento en otros sujetos de interés) 
o Difícil repetir el experimento: costoso, largo y los sujetos pueden escapar a los 
protocolos experimentales → no se garantiza una replicación fiel del estudio