RegresiónLinealMúltiple3 Parte3

Vista previa del material en texto

Regresión lineal multiple
(Parte 3: Interacción y 
Predictores cualitativos)
Prof. Holger Cevallos Valdiviezo
Efectos de Interacción
• Un modelo de regresión con 𝑝 − 1 variables predictoras contiene 
efectos aditivos si la función de respuesta puede ser escrita de la 
siguiente forma:
𝐸 𝑌 = 𝑓1 𝑥1 + 𝑓2 𝑥2 +⋯+ 𝑓𝑝−1 𝑥𝑝−1
donde 𝑓1, 𝑓2, ⋯ , 𝑓𝑝−1 puede ser cualquier función.
• Por ejemplo, la siguiente función de respuesta con dos variables 
predictoras puede ser expresada de la siguiente forma:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥1
2 + 𝛽3𝑥2
decimos entonces que los efectos de 𝑥1 y 𝑥2 en 𝑌 son aditivos 𝑌
Efectos de Interacción
• Un modelo de regresión con 𝑝 − 1 variables predictoras contiene efectos 
aditivos si la función de respuesta puede ser escrita de la siguiente forma:
𝐸 𝑌 = 𝑓1 𝑥1 + 𝑓2 𝑥2 +⋯+ 𝑓𝑝−1 𝑥𝑝−1
donde 𝑓1, 𝑓2, ⋯ , 𝑓𝑝−1 puede ser cualquier función.
• En contraste, la siguiente función de regresión: 
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + 𝛽3𝑥1𝑥2
no puede ser expresado en la forma de arriba, por lo que no es aditiva, o, 
equivalentemente, contiene un efecto de interacción
• Una manera sencilla de modelar efectos de interacción de dos variables 
predictoras en la variable de respuesta es usando un término de producto
curazado, tal como lo es 𝛽3𝑥1𝑥2
• El término de producto curazado se le llama término de interacción
Interpretación
• Consideremos el siguiente modelo de regresión
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖1𝑥𝑖2 + 𝜀𝑖
• La interpretación de 𝛽1 y 𝛽2 ya no es como antes
• El cambio en la respuesta promedio con un incremento de una unidad en 
𝑥1 cuando 𝑥2 se mantiene constante es:
𝛽1 + 𝛽3𝑥2
• De forma similar, el cambio en la respuesta promedio con un incremento 
de una unidad en 𝑥2 cuando 𝑥1 se mantiene constante es:
𝛽2 + 𝛽3𝑥1
• Por tanto, el efecto de 𝑥1 depende del nivel dado de 𝑥2
• El efecto de 𝑥2 depende del nivel dado de 𝑥1 𝑥1
Interpretación
• Consideremos la siguiente función de respuesta:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2
• Suponga que nuestra función de regresión 𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2
corresponde a un modelo de regresión que relaciona Ventas (𝑌) en
dólares, gasto de promoción en el punto de venta (𝑥1) y gasto de 
publicidad en televisión (𝑥2)
Interpretación
• Consideremos la siguiente función de respuesta:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2
• Gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 = 1
• ¿Qué nota en el gráfico?
Interpretación
• Consideremos ahora la función de respuesta con el término de 
interacción 0.5𝑥1𝑥2:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2 + 0.5𝑥1𝑥2
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 
𝑥2 = 1
¿Qué nota en el gráfico?
Interpretación
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 =
1
• Las pendientes de las funciones de respuesta graficadas contra 𝑥1 ahora 
difieren cuando 𝑥2 = 3 y cuando 𝑥2 = 1
Interpretación
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 =
1
• Cuando 𝑥2 = 1, la pendiente es:
𝛽1 + 𝛽3𝑥2 = 2 + 0.5 1 = 2.5
Interpretación
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 =
1
• Cuando 𝑥2 = 3, la pendiente es:
𝛽1 + 𝛽3𝑥2 = 2 + 0.5 3 = 3.5
Interpretación
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 = 1
• Aunque la respuesta promedio cuando 𝑥2 es constante aún es una función lineal 
de 𝑥1, ahora tanto el intercepto como la pendiente de la función de respuesta 
cambia conforme el nivel al cual 𝑥2 se mantiene constante, varía
Interpretación
• Un incremento parecido en la pendiente ocurre si la función de respuesta
contra 𝑥2 se considera para niveles mayores de 𝑥1
• Cuando los coeficientes de regresión 𝛽1 y 𝛽2 son positivos, se dice que el 
efecto de interacción entre dos variables cuantitativas es del tipo sinérgico 
o de reforzamiento cuando la pendiente de la función de respuesta contra 
una de las variables predictoras se incrementa para niveles más altos de la 
otra variable predictora (i.e. cuando 𝛽3 es positivo)
• Si el signo de 𝛽3 fuera negativo:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2 − 0.5𝑥1𝑥2
el resultado del efecto de interacción entre los dos tipos de gasto 
promocional en ventas sería que el incremento en ventas, con un incremento 
de una unidad en el gasto en el punto de venta, sería más pequeño conforme 
se incremento el gasto promocional en TV.
Interpretación
• Si el signo de 𝛽3 fuera negativo:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2 − 0.5𝑥1𝑥2
• Veamos ahora el gráfico del efecto condicional de 𝑥1 cuando 𝑥2 = 3 y 𝑥2 = 1
Un decremento similar ocurriría en la pendiente si la función de respuesta contra 𝑥2 se 
considera para niveles mayores de 𝑥1
Interpretación
• Cuando los coeficientes de regresión 𝛽1 y 𝛽2 son positivos, se dice 
que el efecto de interacción entre dos variables cuantitativas es del 
tipo de interferencia o antagónico cuando la pendiente de la función 
de respuesta contra una de las variables predictoras decrece para 
niveles más altos de la otra variable predictora (i.e. cuando 𝛽3 es 
negativo)
• ¿Qué pasa cuando 𝛽1 y 𝛽2 son negativos?
Predictores cualitativos
• Predictores cualitativos pueden ser usados también en modelos de 
regresión
• Ejemplos de predictores cualitativos son: género (masculino, femenino,…), 
estatus de compra (compra, no compra), estado de discapacidad (sin 
discapacidad, parcialmente discapacitado, discapacitado)
• Caso de estudio: 
En un estudio de innovación en la industria de seguros, un economista desea 
relacionar la velocidad la velocidad con la cual una innovación particular de 
seguros se adopta (𝑌) con el tamaño de la firma de seguro (𝑥1) y el tipo de 
firma (compañía de acciones y compañía mutua de seguros). La variable de 
respuesta es medida por el número de meses transcurridos entre el tiempo 
que la primera firma adoptó la innovación y el tiempo que la firma dada 
adopta la innovación. El tamaño de la firma de seguro es una variable 
cuantitativa, mientras que el tipo de firma es una variable predictora 
cualitativa
Predictores cualitativos con dos clases
• Existen algunas formas de cuantificar una variable cualitativa
• Una opción es usar la variables indicadoras que toman valores 0 o 1
• Sin embargo, es una mala estrategia usar tantas variables indicadoras como
clases existan:
Para el estudio de innovación, por ejemplo, es una mala estrategia usar dos 
variables indicadoras 𝑥2 y 𝑥3 para la variable cualitativa tipo de firma con dos 
clases (compañía de acciones y compañía mutua de seguros):
𝑥2 = ቊ
1 si es compañía mutua
0 de otra manera
𝑥3 = ቊ
1 si es compañía mutua
0 de otra manera
Predictores cualitativos con dos clases
Para el estudio de innovación, por ejemplo, es una mala estrategia usar 
dos variables indicadoras 𝑥2 y 𝑥3 para la variable cualitativa tipo de 
firma con dos clases (compañía de acciones y compañía mutua de 
seguros):
𝑥2 = ቊ
1 si es compañía de acciones
0 de otra manera
𝑥3 = ቊ
1 si es compañía mutua
0 de otra manera
Un modelo de primer orden sería el siguiente:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 + 𝜀𝑖
Predictores cualitativos con dos clases
Para el estudio de innovación, por ejemplo, es una mala estrategia usar 
dos variables indicadoras 𝑥2 y 𝑥3 para la variable cualitativa tipo de 
firma con dos clases (compañía de acciones y compañía mutua de 
seguros):
Un modelo de primer orden sería el siguiente:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 + 𝜀𝑖
La razón por la cual esta es una mala estrategia es que conlleva a 
dificultades computacionales.
Predictores cualitativos con dos clases
Para el estudio de innovación, por ejemplo, es una mala estrategia usar dos 
variables indicadoras 𝑥2 y 𝑥3 para la variable cualitativa tipo de firma con dos clases 
(compañía de acciones y compañía mutua de seguros):
Consideremos 𝑛 = 4, con las dos primeras observaciones de firmas siendo 
compañía de acciones y las dos últimas siendo compañías mutuasde seguros. La 
matriz de diseño sería entonces:
𝐗 =
1 𝑥11 1 0
1 𝑥21 1 0
1 𝑥31 0 1
1 𝑥41 0 1
Note que la primera columna es igual a la suma de las columnas de 𝑥2 y 𝑥3, de tal 
forma que las columnas son linealmente dependientes. En consecuencia, 𝐗t𝐗 no 
tiene inversa (es una matriz singular), y por tanto, no se podrá encontrar 
estimaciones únicas de los coeficientes de regresión 
Predictores cualitativos con dos clases
• Una estrategia muy común que sobrepone esta dificultad y que 
conlleva a interpretaciones simples de los parámetros, es la siguiente:
Identificar una variable cualitativa con 𝑐 clases por 𝑐 − 1 variables 
indicadoras, cada una tomando los valores 0 y 1. Estas variables 
indicadoras son comúnmente llamadas variables dummy o variables 
binarias.
Predictores cualitativos con dos clases
• Usando una variable dummy para la variable cualitativa tipo de firma, 
tenemos el siguiente modelo:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝜀𝑖
donde:
𝑥𝑖1: tamaño de la firma
𝑥2 = ቊ
1 si es compañía de acciones
0 si es compañía mutua
La función de respuesta de este modelo es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2
Predictores cualitativos con dos clases
• La función de respuesta de este modelo es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2
donde:
𝑥𝑖1: tamaño de la firma
𝑥𝑖2 = ቊ
1 si es compañía de acciones
0 si es compañía mutua
• Para el caso de una compañía mutual, 𝑥2 = 0 y la función de respuesta se convierte en:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 0 = 𝛽0 + 𝛽1𝑥1
• Para el caso de una compañía mutua, 𝑥2 = 1 y la función de respuesta se convierte en:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 1 = (𝛽0+𝛽2) + 𝛽1𝑥1
Predictores cualitativos con dos clases
• Para el caso de una compañía mutual, 𝑥2 = 0 y la función de 
respuesta se convierte en:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 0 = 𝛽0 + 𝛽1𝑥1
• Para el caso de una compañía de acciones, 𝑥2 = 1 y la función de 
respuesta se convierte en:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 1 = (𝛽0+𝛽2) + 𝛽1𝑥1
• Por tanto, 𝛽2 indica cuanto mayor (o menor) es la función de 
respuesta de las compañías de acciones en comparación la función de 
respuesta de las compañías mutual, para cualquier tamaño de firma
Predictores cualitativos con dos clases
• Por tanto, 𝛽2 indica cuanto mayor (o menor) es la función de 
respuesta de las compañías de acciones en comparación la función de 
respuesta de las compañías mutual, para cualquier tamaño de firma
Predictores cualitativos con más de dos clases
• Si la variable predictora tiene más de dos clases, requerimos variables 
dummy adicionales en el modelo de regression
• Consideramos por ejemplo la regresión de la vida útil de una máquina
en base a la velocidad de la máquina (𝑥1) y el modelo de la máquina 
(M1, M2, M3 y M4)
• ¿ Cuántas variables dummy requerimos para la variable cualitativa del 
modelo de la máquina?
Predictores cualitativos con más de dos clases
• Si la variable predictora tiene más de dos clases, requerimos variables 
dummy adicionales en el modelo de regression
• Consideramos por ejemplo la regresión de la vida útil de una máquina
en base a la velocidad de la máquina (𝑥1) y el modelo de la máquina 
(M1, M2, M3 y M4)
• ¿ Cuántas variables dummy requerimos para la variable cualitativa del 
modelo de la máquina?
• Correcto, 3 variables dummy
Predictores cualitativos con más de dos clases
• Consideramos por ejemplo la regresión de la vida útil de una máquina en base a la velocidad de la 
máquina (𝑥1) y el modelo de la máquina (M1, M2, M3 y M4)
• Un modelo de regresión de primer orden para este problema es:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 ++𝛽4𝑥𝑖4 + 𝜀𝑖
donde:
𝑥2 = ቊ
1 si el modelo de la máquina es M1
0 de otra manera
𝑥3 = ቊ
1 si el modelo de la máquina es M2
0 de otra manera
𝑥4 = ቊ
1 si el modelo de la máquina es M3
0 de otra manera
Predictores cualitativos con más de dos clases
• La función de regresión para este problema es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + 𝛽3𝑥3 ++𝛽4𝑥4
• La función de regresión del modelo de máquina M4, para el cual 𝑥2 =
0, 𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1
• La función de regresión del modelo de máquina M1, para el cual 𝑥2 =
1, 𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = (𝛽0+𝛽2) + 𝛽1𝑥1
• La función de regresión para el modelo M2 es:
𝐸 𝑌 = (𝛽0+𝛽3) + 𝛽1𝑥1
• La función de regresión para el modelo M3 es:
𝐸 𝑌 = (𝛽0+𝛽4) + 𝛽1𝑥1
Predictores cualitativos con más de dos clases
• La función de regresión del modelo de máquina M4, para el cual 𝑥2 = 0, 
𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1
• La función de regresión del modelo de máquina M1, para el cual 𝑥2 = 1, 
𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = (𝛽0+𝛽2) + 𝛽1𝑥1
• La función de regresión para el modelo M2 es:
𝐸 𝑌 = (𝛽0+𝛽3) + 𝛽1𝑥1
• La función de regresión para el modelo M3 es:
𝐸 𝑌 = (𝛽0+𝛽4) + 𝛽1𝑥1
• Por tanto, 𝛽2, 𝛽3 y 𝛽4 indican cuanto mayor (o menor) son las funciones de 
regresión para el modelo M1, M2 y M3 en comparación con la función de 
regresión para el modelo M4 (nivel de referencia), para cualquier nivel 
dado de velocidad de la máquina
Predictores cualitativos con más de dos clases
• La función de regresión del modelo de máquina M4, para el cual 𝑥2 = 0, 
𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1
• La función de regresión del modelo de máquina M1, para el cual 𝑥2 = 1, 
𝑥3 = 0 y 𝑥4 = 0 es:
𝐸 𝑌 = (𝛽0+𝛽2) + 𝛽1𝑥1
• La función de regresión para el modelo M2 es:
𝐸 𝑌 = (𝛽0+𝛽3) + 𝛽1𝑥1
• La función de regresión para el modelo M3 es:
𝐸 𝑌 = (𝛽0+𝛽4) + 𝛽1𝑥1
• 𝛽4 − 𝛽3 mide cuanto mayor (o menor) es la función de regresión de los 
modelos de máquina M3 en comparación con la función de regresión con 
función de regresión de los modelos de máquina M2, para cualquier nivel 
dado de velocidad de la máquina 
Predictores cualitativos con más de dos clases
• 𝛽2, 𝛽3 y 𝛽4 indican cuanto mayor (o menor) son las funciones de regresión para el modelo M1, 
M2 y M3 en comparación con la función de regresión para el modelo M4 (nivel de referencia), 
para cualquier nivel dado de velocidad de la máquina
• 𝛽4 − 𝛽3 mide cuanto mayor (o menor) es la función de regresión de los modelos de máquina M3 
en comparación con la función de regresión con función de regresión de los modelos de máquina 
M2, para cualquier nivel dado de velocidad de la máquina 𝑥1
Predictores cualitativos con más de dos clases
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• Volviendo al estudio de innovación, el economista sospecha un efecto de 
interacción entre tamaño de la firma y tipo de firma, en la variable de respuesta
• Un modelo de regresión de primer orden con el término de interacción sería:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖1𝑥𝑖2 + 𝜀𝑖
donde:
𝑥𝑖1: tamaño de la firma
𝑥2 = ቊ
1 si es compañía de acciones
0 si es compañía mutua
La función de respuesta de este modelo es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 ++𝛽3𝑥1𝑥2
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• Escriba la función de regresión para el tipo de compañía mutua
• Escriba la función de regresión para el tipo de compañía de acciones
• Interprete los coeficientes de regresión
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• La función de respuesta de este modelo es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 ++𝛽3𝑥1𝑥2
• Podemos ver la interpretación de los coeficientes de regresión al 
examinar la función de respuesta para cada tipo de firma
• Para el tipo de firma mutua, 𝑥2 = 0 y por tanto 𝑥1𝑥2 = 0:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 0 + +𝛽3 0 = 𝛽0 + 𝛽1𝑥1
• Para la firma del tipo de acciones, 𝑥2 =1 y por tanto 𝑥1𝑥2 = 𝑥1:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 1 + 𝛽3𝑥1 = 𝛽0 + 𝛽2 + (𝛽1 + 𝛽3)𝑥1
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• Para el tipo de firma mutua, 𝑥2 = 0 y por tanto 𝑥1𝑥2 = 0:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 0 + +𝛽3 0 = 𝛽0 + 𝛽1𝑥1
• Para la firma del tipo de acciones, 𝑥2 =1 y por tanto 𝑥1𝑥2 = 𝑥1:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 1 + 𝛽3𝑥1 = 𝛽0 + 𝛽2+ (𝛽1 + 𝛽3)𝑥1
• 𝛽2 indica cuanto mayor (o menor) es el intercepto de 𝑌 de la función 
de respuesta para la clase con código 1 en comparación con aquel 
intercepto para la clase con código 0
• 𝛽3 indica cuanto mayor (o menor) es la pendiente de la función de 
respuesta para la clase con código 1 en comparación con aquella 
pendiente para la clase con código 0
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• Para el tipo de firma mutua, 𝑥2 = 0 y por tanto 𝑥1𝑥2 = 0:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 0 + +𝛽3 0 = 𝛽0 + 𝛽1𝑥1
• Para la firma del tipo de acciones, 𝑥2 =1 y por tanto 𝑥1𝑥2 = 𝑥1:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2 1 + 𝛽3𝑥1 = 𝛽0 + 𝛽2 + (𝛽1 + 𝛽3)𝑥1
• Ya que en ambas clases el intercepto y la pendiente difieren, 𝛽2 ya no 
indica cuanto mayor (o menor) es la función de respuesta de la clase 
con código 1 en comparación con la función de respuesta de la clase 
con código 0 
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
Note que ahora el efecto del tipo de firma depende del tamaño de 
firma (𝑥1)
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
Otro ejemplo: ¿quién innova más rápido?
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
Otro ejemplo: ¿quién innova más rápido?
Ejemplo de interacción ordinal
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
Ejemplo de interacción disordinal
Interacciones entre Predictores cuantitativos
y Predictores cualitativos
• Ajustar el modelo de regresión con la variable dummy para el tipo de 
firma da el mismo resultado que ajustar un modelo para la firma de 
acciones y otro modelo para la firma mutua.
• Sin embargo, el modelo de regresión con la variable dummy para el 
tipo de firma nos da como resultado las funciones de regresión
ajustadas para ambas firmas
• Además, podemos obtener resultados para las pruebas que 
comparan las funciones de regresión para las diferentes clases,