4) Tópicos de Micro - Clase 3-24-33

Vista previa del material en texto

Power analysis
▶ El power es la probabilidad de rechazar correctamente H0
▶ Test de significatividad: H0 : βj = 0
▶ ¿Por qué podemos encontrar que nuestro tratamiento no es significativo?
▶ No tuvo un efecto real
▶ No tenemos suficientes datos para encontrar ese efecto
2
4
 
/ 
3
5
1 ¿Es real que no es significativo o mi estimación es muy 
imprecisa? Si lo estimo con un IC mas preciso -2- (mas 
angosto), puede ser significativa. La idea del power es tener 
en cuenta estos problemas. Si decimos que algo no es 
significativo debemos procurar que el IC sea el menor 
posible para que el efecto nulo sea más creíble. + 
observaciones --> estimación + precisa --> achicar IC
Power analysis
Figure 3: Miller et al (2021)
25 / 35
Power analysis
Figure 4: White y Raitzer (2017)
26 / 35
Power analysis
▶ Un nivel de significatividad del 5% protege del Error de Tipo 1
▶ 5% probabilidad de rechazar incorrectamente H0
▶ ¿Qué hacemos con Error de Tipo II?
▶ Trade off entre ETI y ETII
▶ Aumentar el tamaño de la muestra
▶ Una probabilidad de 20% de cometer un ETII se considera aceptable. Equivalente
a un power de 80%
27 / 35
Cálculo del power
▶ Minimum effect size (MES): cuál es el tamaño de un efecto que nuestro estudio
es capaz de encontrar
▶ Mientras más chico sea un efecto (cierto), más observaciones necesitamos para
detectar que es significativamente distinto de 0
▶ ¿Cómo determinamos el MES?
▶ Literatura y conocimiento previo
▶ ¿Qué tamaño de efecto nos interesa?
28 / 35
Cálculo del power
▶ MES =
(
tα/2 + t1−β
)
σy
√
1
P(1−P)n
▶ n =
(tα/2+t1−β)
2
σ2y
MES2P(1−P)
▶ donde: t estad́ısticos para un nivel de significatividad (α), el nivel del power
(1− β), error estándar del outcome (σ2y ), la proporción de la muestra en el grupo
tratado (P), y el tamaño de la muestra (n)
29 / 35
Cálculo del power
▶ Algunas conclusiones:
▶ A medida que aumenta n, disminuye MES
▶ Un MES muy alto sin muestra suficiente, underpowered
▶ El MES es ḿınimo cuando tenemos el mismo número de observaciones en el
tratamiento y en el control
▶ Estimar σ2y con información disponible
▶ Los estudios con tratamientos clustereados requieren más observaciones para el
mismo nivel de power (White y Raitzer, 2017)
30 / 35
Power analysis
Figure 5: White y Raitzer (2017)
31 / 35
Cálculo del power
▶ En śıntesis: el power es la probabilidad de concluir que un efecto es significativo
cuando realmente lo es. Convención del 80%
▶ ¿Cómo calcularlo para mi experimento?
▶ Rule of thumb: tamaño de cada grupo es n = 16/MES2. Un MES de 0.1, n=1,600
para cada grupo
▶ Optimal Design, paquetes en Stata y R, Excel Power Calculator
▶ ¿Es un problema en ciencias sociales?
▶ Ioannidis et al (2017): El power mediano en publicaciones en econoḿıa es 18%
▶ Arel-Bundock et al (2022): El power mediano en publicaciones de ciencia poĺıtica es
10%
32 / 35
Distintos efectos causales
▶ Average treatment effect (ATE): efecto del tratamiento para todos los individuos
▶ Dupas (2011).
▶ SUTVA, randomización, perfect compliance, no attrition
▶ Intetion to treat (ITT): efecto de la asignación al tratamiento para todos los
individuos
▶ Cruces et al (2020), no sabemos quiénes recibieron los mensajes y quiénes no
▶ Perfect compliance: ATE = ITT
▶ Local average treatment effect (LATE): efecto del tratamiento para los compliers
▶ Galiani et al (2011), efecto para quienes hicieron el servicio militar si sorteados y no
lo hicieron si no sorteados
▶ Perfect compliance: ATE = LATE
33 / 35
	Power analysis
	Efectos causales