Regresión Lineal Múltiple (Parte 1)

Vista previa del material en texto

Regresión lineal multiple
(Parte 1)
Prof. Holger Cevallos Valdiviezo
Introducción: Regresión lineal múltiple
• Un investigador ajustaría un modelo de regresión lineal para: describir
(o ajustar) la variable de respuesta, hacer inferencias acerca del 
efecto de cada variable predictora (o de alguna en particular) en la 
variable de respuesta, hacer predicciones de la variable de respuesta.
• Descripción, inferencias, o predicciones pueden ser incorrectas si no 
se incluyen todas las variables necesarias en el modelo.
• Datos observacionales y datos experimentales
Introducción: Regresión lineal múltiple
• Ejemplo 1
• en un estudio acerca de la productividad de equipos de trabajo el 
investigador quisiera controlar para el tamaño del equipo y el nivel de bonos
de productividad pagados
• Ejemplo 2
• en un estudio de respuesta a una droga, el investigador quisiera controlar la 
dosis administrada así como el método de administración (oral, intravenosa, 
etc..)
Modelo Regresión lineal múltiple: 2 
predictores
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝜀𝑖
• Modelo lineal en los parámetros
• Se le llama también modelo de primer orden ya que es lineal en las 
variables predictoras
• Asumiendo 𝐸 𝜀𝑖 = 0, la función de regresión es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2
que representa un plano.
Modelo Regresión lineal múltiple : 2 
predictores
Por ejemplo:
𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2
Modelo Regresión lineal múltiple : 2 
predictores
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝜀𝑖
Interpretación de los coeficientes de regresión:
• 𝛽0 es el intercepto del plano de regresión:
• 𝛽1:
• 𝛽2:
Modelo con efectos aditivos (o sin interacción)!
Modelo Regresión lineal múltiple : 2 
predictores
Suponga que nuestra función de regresión 𝐸 𝑌 = 10 + 2𝑥1 + 5𝑥2
corresponde a un modelo de regresión que relaciona Ventas (𝑌) en
dólares, gasto de promoción en el punto de venta (𝑥1) y gasto de 
publicidad en televisión (𝑥2).
Interprete los parámetros de regresión.
Modelo Regresión lineal múltiple: (𝑝 − 1)
predictores
Modelo de primer orden:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 +⋯+ 𝛽𝑝−1𝑥𝑖,𝑝−1 + 𝜀𝑖
𝑌𝑖 = 𝛽0 +෍
𝑘=1
𝑝−1
𝛽𝑘𝑥𝑖𝑘 + 𝜀𝑖
con 𝑥𝑖0 ≡ 1 podemos escribir:
𝑌𝑖 = ෍
𝑘=0
𝑝−1
𝛽𝑘𝑥𝑖𝑘 + 𝜀𝑖
Modelo Regresión lineal múltiple: (𝑝 − 1)
predictores
Modelo de primer orden:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 +⋯+ 𝛽𝑝−1𝑥𝑖,𝑝−1 + 𝜀𝑖
Asumiendo 𝐸 𝜀𝑖 = 0, la función de regresión es:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 +⋯+ 𝛽𝑝−1𝑥𝑝−1
• Esta función de regresión es un hiperplano (un plano en más de dos dimensiones) 
• Interpretación análoga al caso con 𝑝 = 2 predictores
• Modelo con efectos aditivos (sin interacción)
Modelo Regresión lineal múltiple con errores 
normales: (𝑝 − 1) predictores
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 +⋯+ 𝛽𝑝−1𝑥𝑖,𝑝−1 + 𝜀𝑖
• 𝛽0, 𝛽1,⋯ , 𝛽𝑝−1 son los parámetros del modelo
• 𝑥𝑖1, ⋯ , 𝑥𝑖,𝑝−1 son constantes conocidas
• 𝜀𝑖 𝑖𝑖𝑑~ 𝑁 0, 𝜎
2
• 𝑖 = 1,⋯ , 𝑛
• 𝑌𝑖 ~ ???
Esta forma de escribir un modelo de regresión también se la conoce como Modelo
de Regresión lineal General
Modelo de Regresión lineal General: notación
matricial
𝐘(𝑛×1) =
𝑌1
𝑌2
⋮
𝑌𝑛
𝐗 𝑛×𝑝 =
1 𝑥11 𝑥12
1 𝑥21 𝑥22
⋮
1
⋮
𝑥𝑛1
⋮
𝑥𝑛2
⋯ 𝑥1,𝑝−1
⋯ 𝑥2,𝑝−1
⋯
⋯
⋮
𝑥𝑛,𝑝−1
𝛃(𝑝×1) =
𝛽0
𝛽1
⋮
𝛽𝑝−1
𝛆(𝑛×1) =
𝜀1
𝜀2
⋮
𝜀𝑛
𝐘(𝑛×1) = 𝐗 𝑛×𝑝 𝛃(𝑝×1) + 𝛆(𝑛×1)
Modelo de Regresión lineal General: notación
matricial
𝐘(𝑛×1) = 𝐗 𝑛×𝑝 𝛃(𝑝×1) + 𝛆(𝑛×1)
• 𝐘 es un vector de respuestas
• 𝛃 es un vector de parámetros
• 𝐗 es una matriz de constantes
• 𝛆 es un vector de variables aleatorias normales independientes con valor 
esperado 𝐄 𝛆 = 𝟎 y matriz de varianzas y covarianzas:
𝝈2 𝛆 =
𝜎2
0
0
𝜎2
⋯
⋯
⋮ ⋮ ⋱
0 0 ⋯
0
0
⋮
𝜎2
= 𝜎2𝐈
Modelo de Regresión lineal General: 
estimación por mínimos cuadrados
• Los estimadores por mínimos cuadrados son los valores de 𝛽0, 𝛽1, ⋯ , 𝛽𝑝−1
que minimizan el criterio 𝑄:
𝑄 =෍
𝑖=1
𝑛
(𝑌𝑖 − 𝛽0 − 𝛽1𝑥𝑖1 −⋯− 𝛽𝑝−1𝑥𝑖,𝑝−1)
2
Denotamos al vector con los coeficientes de regresión de mínimos cuadrados
𝐵0, 𝐵1, ⋯ , 𝐵𝑝−1 como 𝐛:
𝐁(𝑝×1) =
𝐵0
𝐵1
⋮
𝐵𝑝−1
Modelo de Regresión lineal General: 
estimación por mínimos cuadrados
• Las ecuaciones normales por mínimos cuadrados son:
𝐗t𝐗𝐁 = 𝐗t𝐘
note que para el caso 𝑝 = 2 esto se reduce a 𝐗t𝐗𝐁(2×1) = 𝐗
t𝐘 (2×1):
Modelo de Regresión lineal General: 
estimación por mínimos cuadrados
• Los estimadores por mínimos cuadrados son:
𝐁 = (𝐗t𝐗)−1𝐗t𝐘
• El método de máxima verosimilitud obtiene los mismos estimadores
para el modelo de regresión con errores normales
• Los estimadores por mínimos cuadrados son insesgados con mínima
varianza, consistentes y suficientes
Modelo de Regresión lineal General: valores
ajustados y residuos
• Sea ෡𝐘 el vector con los valores ajustados ෠𝑌𝑖:
෡𝐘(𝑛×1) =
෠𝑌1
෠𝑌2
⋮
෠𝑌𝑛
Los valores ajustados se obtienen de la siguiente manera:
෡𝐘 = 𝐗𝐁
Modelo de Regresión lineal General: valores
ajustados y residuos
• Sea 𝐞 el vector de los términos de los residuos 𝑒𝑖 = 𝑌𝑖 − ෠𝑌𝑖:
𝐞(𝑛×1) =
𝑒1
𝑒2
⋮
𝑒𝑛
Los términos de los residuos se los obtiene de la siguiente manera:
𝐞 = 𝐘 − ෡𝐘 = 𝐘 − 𝐗𝐁
Modelo de Regresión lineal General: valores
ajustados y residuos
• Se puede expresar el resultado matricial de ෡𝐘 de la siguiente manera:
෡𝐘 = 𝐗(𝐗t𝐗)−1𝐗t𝐘
o de manera equivalente:
෡𝐘(𝑛×1) = 𝐇(𝑛×𝑛)𝐘(𝑛×1)
en donde
𝐇 = 𝐗(𝐗t𝐗)−1𝐗t
• Por tanto, los valores ajustados ෠𝑌𝑖 se pueden expresar como combinacionaes lineales de 
las observaciones de la variable de respuesta 𝑌𝑖, siendo los coeficientes los elementos de 
la matriz 𝐇.
• La matriz 𝐇 solo contiene las observaciones de las variables predictoras
• A la matriz cuadrada 𝐇(𝑛×𝑛)se le llama matriz sombrero
Modelo de Regresión lineal General: valores
ajustados y residuos
• Se puede expresar el resultado matricial de ෡𝐘 de la siguiente manera:
෡𝐘 = 𝐗(𝐗t𝐗)−1𝐗t𝐘
o de manera equivalente:
෡𝐘(𝑛×1) = 𝐇(𝑛×𝑛)𝐘(𝑛×1)
en donde
𝐇 = 𝐗(𝐗t𝐗)−1𝐗t
• La matriz sombrero juega un papel importante en la evaluación del modelo de regresión al 
determinar si los resultados del modelo se encuentran influenciados de manera errónea por una 
o varias observaciones.
• La matriz 𝐇 es simétrica e indempotente, es decir cumple que:
𝐇𝐇 = 𝐇
Modelo de Regresión lineal General: Análisis
de Varianza
Definamos:
𝐉 =
1
1
1
1
⋯
⋯
⋮ ⋮ ⋱
1 1 ⋯
1
1
⋮
1
Tabla Anova
Fuente de varianza Sumas cuadráticas Grados de Libertad Medias cuadráticas
Regresión
𝑆𝑆𝑅 = 𝐁t𝐗t𝐘 −
1
𝑛
𝐘t𝐉𝐘
𝑝 − 1
𝑀𝑆𝑅 =
𝑆𝑆𝑅
𝑝 − 1
Error 𝑆𝑆𝐸 = 𝐘t𝐘 − 𝐁t𝐗t𝐘 𝑛 − 𝑝
𝑀𝑆𝐸 =
𝑆𝑆𝐸
𝑛 − 𝑝
Total
𝑆𝑆𝑇𝑂 = 𝐘t𝐘 −
1
𝑛
𝐘t𝐉𝐘
𝑛 − 1
Modelo de Regresión lineal General: Análisis
de Varianza
• 𝑆𝑆𝑇𝑂 (suma cuadrática total) tiene 𝑛 − 1 grados de libertad asociados
• 𝑆𝑆𝐸 (suma cuadrática de los errores) tiene 𝑛 − 𝑝 grados de libertad
asociados, ya que ahora 𝑝 parámetros deben ser estimados en la función
de regresión
• 𝑆𝑆𝑅 (suma cuadrática de regresión) tiene 𝑝 − 1 grados de libertad
asociados, representando el número de variables predictoras
𝑥1, 𝑥2, ⋯ , 𝑥𝑝−1
• E 𝑀𝑆𝐸 = 𝜎2
• Para 𝑝 = 2, E 𝑀𝑆𝑅 = 𝜎2 +
1
2
ሾ
ሿ
𝛽1
2 σ𝑖=1
𝑛 𝑥𝑖1 − ҧ𝑥1
2 + 𝛽2
2 σ𝑖=1
𝑛 (
)
𝑥𝑖2 −
ҧ𝑥2
2 + 2𝛽1𝛽2 σ𝑖=1
𝑛 𝑥𝑖1 − ҧ𝑥1 (𝑥𝑖2 − ҧ𝑥2)
• Si 𝛽1y 𝛽2 son iguales a cero, E 𝑀𝑆𝑅 = 𝜎
2, de otra manera E 𝑀𝑆𝑅 > 𝜎2
Modelo de Regresión lineal General: Prueba
𝐹
• Para evaluar si existe una relación de regresión entre la variable de 
respuesta 𝑌 y el conjunto de variables 𝑥1, 𝑥2, ⋯ , 𝑥𝑝−1, i.e. para escoger
entre las alternativas:
𝐻0: 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝−1 = 0
𝐻𝑎: no todos 𝛽𝑘 𝑘 = 1,⋯ , 𝑝 − 1 son igual a 0
usamos el siguiente estadístico de prueba
𝐹∗ =
𝑀𝑆𝑅
𝑀𝑆𝐸
La regla de decisión para controlar el Error Tipo I al nivel 𝛼 es:
Si 𝐹∗ ≤ 𝐹 1 − 𝛼; 𝑝 − 1, 𝑛 − 𝑝 , concluya 𝐻0
Si 𝐹∗ > 𝐹 1 − 𝛼; 𝑝 − 1, 𝑛 − 𝑝 , concluya 𝐻𝑎
Modelo de Regresión linealGeneral: 
Coeficiente de determinación múltiple
• Se denota como 𝑅2 y se define como:
𝑅2 =
𝑆𝑆𝑅
𝑆𝑆𝑇𝑂
= 1 −
𝑆𝑆𝐸
𝑆𝑆𝑇𝑂
• Mide la reducción proporcional de la varianza total de 𝑌 asociada con el uso de 
las variables 𝑥1, 𝑥2, ⋯ , 𝑥𝑝−1
• 0 ≤ 𝑅2 ≤ 1
• Al añadir más variables al modelo 𝑅2 siempre va a aumentar 𝑅2 ya que 𝑆𝑆𝐸 no 
puede incrementarse al añadir más variables al modelo
• Coeficiente ajustado de determinación múltiple
• 𝑅𝛼
2 = 1 −
𝑆𝑆𝐸
𝑛−𝑝
𝑆𝑆𝑇𝑂
𝑛−1
= 1 −
𝑛−1
𝑛−𝑝
𝑆𝑆𝐸
𝑆𝑆𝑇𝑂
Modelo de Regresión lineal General: 
Inferencias
• Los estimadores por mínimos cuadrados y por máxima verosimilitud son 
insesgados:
𝐄 𝐁 = 𝛃
• La matriz de varianzas y covarianzas 𝛔2 𝐁 viene dada por:
𝛔2 𝐁 =
𝜎2 𝐵0
𝜎 𝐵1, 𝐵0
𝜎 𝐵0, 𝐵1
𝜎2 𝐵1
⋯
⋯
⋮ ⋮ ⋱
𝜎 𝐵𝑝−1, 𝐵0 𝜎 𝐵𝑝−1, 𝐵1 ⋯
𝜎 𝐵0, 𝐵𝑝−1
𝜎 𝐵1, 𝐵𝑝−1
⋮
𝜎2 𝐵𝑝−1
= 𝜎2(𝐗t𝐗)−1
Modelo de Regresión lineal General: 
Inferencias
• La matriz de varianzas y covarianzas estimada 𝐬2 𝐁 viene dada por:
𝐬2 𝐁 =
𝑠2 𝐵0
𝑠 𝐵1, 𝐵0
𝑠 𝐵0, 𝐵1
𝑠2 𝐵1
⋯
⋯
⋮ ⋮ ⋱
𝑠 𝐵𝑝−1, 𝐵0 𝑠 𝐵𝑝−1, 𝐵1 ⋯
𝑠 𝐵0, 𝐵𝑝−1
𝑠 𝐵1, 𝐵𝑝−1
⋮
𝑠2 𝐵𝑝−1
= 𝑀𝑆𝐸(𝐗t𝐗)−1
Modelo de Regresión lineal General: 
Inferencias
• Para el modelo de regresión con errores normales se cumple que:
𝐵𝑘 − 𝛽𝑘
𝑠 𝐵𝑘
~ 𝑡 𝑛 − 𝑝 𝑘 = 0, 1,⋯ , 𝑝 − 1
• Este resultado nos permite construir intervalos de confianza (IC) y 
pruebas de hipótesis
• IC para 𝛽𝑘 con un nivel de confianza de 1 − 𝛼:
𝐵𝑘 ± 𝑡 1 −
𝛼
2
; 𝑛 − 𝑝 𝑠 𝐵𝑘
Modelo de Regresión lineal General: 
Inferencias
• Prueba de hipótesis para 𝛽𝑘:
𝐻0: 𝛽𝑘 = 0
𝐻𝑎: 𝛽𝑘 ≠ 0
• Bajo 𝐻0 usamos el estadístico de prueba:
𝑡∗ =
𝐵𝑘
𝑠 𝐵𝑘
y la regla de decisión:
𝑡∗ ≤ 𝑡(1 − 𝛼/2; 𝑛 − 𝑝), concluimos 𝐻𝑜
de otra manera concluimos 𝐻𝑎
Modelo de Regresión lineal General: 
Estimación respuesta media
• Para valores dados de 𝑥1, 𝑥2, ⋯ , 𝑥𝑝−1 denotados como
𝑥ℎ1, 𝑥ℎ2, ⋯ , 𝑥ℎ,𝑝−1, la respuesta media la denotamos como E 𝑌ℎ , 
Definimos el vector 𝐗ℎ:
𝐗ℎ =
1
𝑥ℎ1
⋮
𝑥ℎ,𝑝−1
De tal manera que la respuesta media es
E 𝑌ℎ = 𝐗ℎ
t 𝛃
Modelo de Regresión lineal General: 
Estimación respuesta media
• De tal manera que la respuesta media a ser estimada es
E 𝑌ℎ = 𝐗ℎ
t 𝛃
• Denotamos como ෠𝑌ℎa la respuesta media estimada correspondiente a 𝐗ℎ, que se define como:
෠𝑌ℎ = 𝐗ℎ
t 𝐁
• Este estimator es insesgado:
E ෠𝑌ℎ = 𝐗ℎ
t 𝛃 = E 𝑌ℎ
y su varianza es:
𝜎2 ෠𝑌ℎ = 𝜎
2𝐗ℎ
t (𝐗t𝐗)−1𝐗ℎ
𝜎2 ෠𝑌ℎ = 𝐗ℎ
t 𝛔2 𝐁 𝐗ℎ
La varianza estimada viene dada por:
𝑠2 ෠𝑌ℎ = 𝑀𝑆𝐸 𝐗ℎ
t (𝐗t𝐗)−1𝐗ℎ = 𝐗ℎ
t 𝐬2 𝐁 𝐗ℎ
Modelo de Regresión lineal General: 
Estimación respuesta media
La varianza estimada viene dada por:
𝑠2 ෠𝑌ℎ = 𝑀𝑆𝐸 𝐗ℎ
t (𝐗t𝐗)−1𝐗ℎ = 𝐗ℎ
t 𝐬2 𝐁 𝐗ℎ
Un IC para E 𝑌ℎ con un nivel de confianza de 1 − 𝛼 viene dado por:
෠𝑌ℎ ± 𝑡 1 −
𝛼
2
; 𝑛 − 𝑝 𝑠 ෠𝑌ℎ
Modelo de Regresión lineal General: Intervalo
de predicción
Un intervalo de predicción con probabilidad 1 − 𝛼 para una observación nueva 𝑌ℎ(𝑛𝑒𝑤)
correspondiente a una combinación de valores de las variables predictoras dado por el 
vector 𝐗ℎ viene dado por:
෠𝑌ℎ ± 𝑡 1 −
𝛼
2
; 𝑛 − 𝑝 𝑠 pred
donde 𝑠2 𝑝𝑟𝑒𝑑 = 𝑀𝑆𝐸 + 𝑠2 ෠𝑌ℎ = 𝑀𝑆𝐸 1 + 𝐗ℎ
t (𝐗t𝐗)−1𝐗ℎ
Modelo de Regresión lineal General: 
Diagnóstico y medidas remedio
• El diagnóstico del modelo juega un papel importante en el desarollo y evaluación del modelo
de regresión lineal múltiple
• La mayoría de los procedimientos de diagnóstico usados en el modelo simple se extienden
para el caso del modelo múltiple
Supuestos
• Linealidad
✓gráfico de residuos vs valores ajustados
• Varianza constante
✓gráfico de residuos vs valores ajustados
✓gráfico de residuos absolutos vs valores ajustados
✓gráfico de residuos al cuadrado vs valores ajustados
• Normalidad de los errores
✓gráfico QQ de los residuos vs cuantiles teóricos de la normal estándar
✓Diagrama de caja de los residuos
Modelo de Regresión lineal General: 
Diagnóstico y medidas remedio
• Gráficos de diagnóstico nos pueden ayudar también a identificar si variables omitidas
poseen efectos adicionales en la variable de respuesta que no han sido capturados
por el actual modelo de regresión
✓Residuos vs predictores omitidos
✓Residuos vs términos de interacción
• Si no se cumplen los supuestos del modelo, se pueden hacer transformaciones de la 
variable de respuesta y/o de los predictores para hacer el modelo apropiado
✓Violación de linealidad sólamente: 𝑥, log10 𝑥, 1/𝑥, 𝑒
𝑥, 𝑒−𝑥
✓Violación de varianza constante/normalidad de los errores: 𝑌, log10 𝑌, 1/𝑌
(combinado con transformación en 𝑥 en caso de ser necesaria una linearización)