04 Estudios Causales - Raúl Beltran

Vista previa del material en texto

Estudios Causales:
Medición de Impacto
Pablo Marshall
Escuela de Administración, PUC
Contenido
1. Estudios Causales
2. Correlación y Causalidad
3. Medición de Impacto
4. Modelos de Regresión
Pablo Marshall Escuela de Administración, PUC 2
1. Conceptos Generales
• Medir la efectividad o impacto de acciones de marketing: nuevos productos, campañas 
de publicidad, promociones, cambios de precio, nuevos canales, cambios de empaque, 
test de sabor, etc...
• Correlación no es lo mismo que causalidad : Paradoja de Simpson
• Test de Mercado (Field Experiment) o Pre – Test de Mercado (Laboratorio)
• Evaluación de Impacto en Economía y Ciencias Sociales
Pablo Marshall Escuela de Administración, PUC 3
2. Correlación y Causalidad: Paradoja de Simpson
Condición Mujeres Hombres Total
Postulantes 200 200 400
Admitidos 66 96 162
% Admitidos 33,0 48,0 40,5
¿Es la proporción de admitidos mayor en hombres?
Paradoja de Simpson
Alumnos Admitidos en Berkeley 
Pablo Marshall Escuela de Administración, PUC 4
Correlación y Causalidad: Paradoja de Simpson 
Facultad Condición Mujeres Hombres Total
Negocios
Postulantes 160 60 220
Admitidos 40 12 52
% Admitidos 25,0 20,0 23,6
Ingeniería
Postulantes 40 140 180
Admitidos 26 84 110
% Admitidos 65,0 60,0 61,1
Total
Postulantes 200 200 400
Admitidos 66 96 162
% Admitidos 33,0 48,0 40,5
¿Es la proporción de admitidos mayor en hombres?
Paradoja de Simpson
Alumnos Admitidos en Berkeley 
Pablo Marshall Escuela de Administración, PUC 5
Correlación y Causalidad: Ventas y Publicidad
Pablo Marshall Escuela de Administración, PUC 6
3. Medición de Impacto
El impacto de una acción de marketing es la diferencia entre el resultado de la variable 
objetivo en la unidad con tratamiento y el resultado que se habría obtenido en la misma 
unidad sin tratamiento
Pablo Marshall Escuela de Administración, PUC 7
Tratamiento
Control 
Contra Factual
¿Cómo construir el Control o Contra Factual?
Ejemplo Banco
Un banco quiere hacer el rediseño de más de 200 sucursales. La banca móvil y la banca a
través de internet han cambiado las necesidades de los clientes y la idea de los ejecutivos
del banco es transformar las sucursales en centros de negocios y asesoría, dejando atrás la
idea de que las sucursales son lugares donde fundamentalmente se hacen depósitos y
giros de dinero.
Se selecciona una muestra de las sucursales para ser rediseñadas. Después de 3 meses de
operación de las nuevas sucursales se hace una encuesta a los clientes que visitan la
sucursal de manera de medir la satisfacción con el nuevo diseño.
¿Cómo medir el impacto?
Pablo Marshall Escuela de Administración PUC 8
Modelo de Rubin: Resultados Potenciales
Unidades Tratamiento Unidades Control
Con Tratamiento 𝑌1𝑡 𝑌1𝑐
Sin Tratamiento 𝑌0𝑡 𝑌0𝑐
Pablo Marshall Escuela de Administración PUC 9
¿Cuáles celdas son observables? ¿Cuál es el impacto? ¿Cómo se estima? 
¿En qué casos hay sesgo de medición?
Diferencia Observada = 𝑌1𝑡 − 𝑌0𝑐
= (𝑌1𝑡− 𝑌0𝑡) + 𝑌0𝑡 − 𝑌0𝑐
= 𝐼𝑚𝑝𝑎𝑐𝑡𝑜 + 𝑆𝑒𝑠𝑔𝑜
Método 1: Aleatorización
• Aleatorización en 2 Etapas
𝑆𝑒𝑠𝑔𝑜 = 𝑌0𝑡 − 𝑌0𝑐 = 0
𝐼𝑚𝑝𝑎𝑐𝑡𝑜 = 𝑌1𝑡 − 𝑌0𝑐 = 𝑌1𝑡 − 𝑌0𝑡
• Precisión
𝑉 𝑌1𝑡 − 𝑌0𝑐 =
𝜎2
𝑛1 + 𝑛0
1
(𝑛1%) (𝑛0%)
• Observaciones: 
– Costos / Beneficios
– Consideraciones Éticas
– Precisión
– Mortalidad
– Modelo de Regresión: 𝑦 = 𝛽0 + 𝛽1𝑇 + 𝜀
Pablo Marshall Escuela de Administración, PUC 10
Ejemplo: Star Video
Star Video es una empresa que ofrece canales de video a través de Internet.
Star Video realiza un experimento para medir la efectividad de una campaña publicitaria
en 6 sitios donde se ponen banners con publicidad de la empresa. El objetivo de la
campaña es la suscripción al servicio que ofrece Star Video. Las personas que entran a
alguno de estos sitios durante 2 meses son clasificados como muestra tratamiento o
muestra control. Las personas de la muestra tratamiento ven publicidad de Star Video
mientras que la muestra control ve publicidad de una institución de beneficencia. El 10%
es control.
Las tasas de suscripción en el grupo tratamiento es 0.156% y en el grupo control 0.144%.
Las personas que participan del experimento son 45 millones y el número de impresiones
es 75 millones. El costo de una impresión es $ 0,020 y el valor de una suscripción para la
empresa es $ 1.200.
Ejemplo: Star Video (Continuación)
• Suponga que sólo el 50% del grupo tratamiento ve efectivamente la publicidad
• Suponga que la tasa de suscripción entre los que ven la publicidad es 0.224%
Pablo Marshall Escuela de Administración PUC 12
Grupo Ve Publicidad Tasa Tasa Promedio
Tratamiento
Si (50%) 0.224
0.156
No (50%)
Control
Si (50%)
0.144
No (50%)
ATE = TOT = 
Método 2: Matching
• La asignación de las sucursales no es aleatoria y depende de una variable X
correlacionada con la respuesta
• Condicional en una variable X, observable, la asignación al tratamiento es
independiente de la respuesta (independencia condicional)
• Mediciones de Impacto Global
ATE en la Muestra = 15
ATE en la Población = 20
Pablo Marshall Escuela de Administración, PUC 13
Muestra Satisfacción
X: Zona Total Tratamiento Control Tratamiento Control
A 20 10 10 50 50
B 40 10 30 65 55
C 60 10 50 80 60
D 80 10 70 95 65
Total 200 40 160 72 62
Método 3: Diferencias en Diferencias (DID)
Ejemplo Banco
• Las sucursales en los grupos tratamiento y control no fueron asignadas aleatoriamente
• Se tienen observaciones de satisfacción antes y después
• Se supone que las diferencias (después – antes) permanecen constantes entre el grupo 
tratamiento y el grupo control. 
Pablo Marshall Escuela de Administración, PUC 14
Satisfacción Promedio Número de Sucursales
Medición Tratamiento Control Tratamiento Control
Antes 60 50 30 70
Después 75 55 30 70
¿Cuál es el impacto del rediseño en una unidad tratada? 
¿y si la selección fuese aleatoria?
Ejemplo : Campaña Publicitaria
Después de una campaña en TV se hace una encuesta telefónica a 400 hogares para medir 
la recordación de marca entre quienes vieron y quienes no vieron la publicidad. Los 
resultados son los siguientes 
¿Fue efectiva la campaña?
Condición Vio Publicidad No Vio Publicidad Total
Encuestados 116 284 400
Recuerda la Marca 43 74 117
% Recuerda la Marca 37,1 26,1 29,3
Pablo Marshall Escuela de Administración, PUC 15
Ejemplo: Campaña Publicitaria
Género Condición Vio Publicidad No Vio Publicidad Total
Hombres
Encuestados 90 110 200
Recuerda la Marca 40 46 86
% Recuerda la Marca 44,4 41,8 43,0
Mujeres
Encuestados 26 174 200
Recuerda la Marca 3 28 31
% Recuerda la Marca 11,5 16,1 15,5
Total
Encuestados 116 284 400
Recuerda la Marca 43 74 117
% Recuerda la Marca 37,1 26,1 29,3
Pablo Marshall Escuela de Administración, PUC 16
Resumen Fuentes de Error 
• Historia: otros eventos que ocurren al mismo tiempo
• Madurez: cambios en las unidades 
• Mortalidad: de las unidades durante el experimento
• Sesgo de Selección: de las unidades 
• Regresión a la media
• Efecto Test: efectos que produce el experimento
• Spill-over
Pablo Marshall Escuela de Administración, PUC 17
Ejemplo: Promoción Biz Ware
Características de la promoción de un nuevo software:
• Precio : 150, 160, 170, 180
• Mensaje : Velocidad, Poder
• Promoción: 30 días gratis, Regalo
Promoción 30 días gratis 30 días gratis Regalo Regalo
Mensaje Velocidad Poder Velocidad Poder
Precio=150 14% 40%
Precio=160 9% 13%
Precio=170 6% 10%
Precio=180 1% 7%
Pablo Marshall Escuela de Administración, PUC 18
Ejemplo: Promoción Biz Ware
• Características de la Promoción
– Precio : 150, 160, 170, 180
– Mensaje : Velocidad, Poder
– Promoción: 30 días gratis, Regalo
• Se observan 8 combinaciones o celdas
Variable Constante Precio
Mensaje 
Poder
Promoción
Regalo
Coeficiente 9,71 -0,08 0,61 1,10
Error Estándar 1,42 0,01 0,19 0,19
R2 = 0,969; n = 8
Pablo Marshall Escuela de Administración, PUC 19