RegresiónLinealMúltiple3 Parte2

Vista previa del material en texto

Regresión lineal multiple
(Parte 2)
Prof. Holger Cevallos Valdiviezo
Suma de cuadrados extra
• Reducción extra o adicional en la suma cuadrática de los errores
asociada con la inclusión de una o varias variables predictoras, dado 
que otras ya se encuentran en el modelo
• Equivalentemente, la suma de cuadrados extra es el incremento
marginal en la suma cuadrática de regresión
Suma de cuadrados extra
• Sea 𝑆𝑆𝐸(𝑋1, 𝑋2) la suma cuadrática de los errores cuando 𝑋1 y 𝑋2 se 
encuentran en el modelo
• Sea 𝑆𝑆𝐸(𝑋1) la suma cuadrática de los errores cuando solo 𝑋1 se 
encuentra en el modelo
• Denotamos como 𝑆𝑆𝑅(𝑋2|𝑋1) a la suma de cuadrados extra, que se 
define como:
𝑆𝑆𝑅 𝑋2 𝑋1 = 𝑆𝑆𝐸 𝑋1 − 𝑆𝑆𝐸(𝑋1, 𝑋2)
o de forma equivalente:
𝑆𝑆𝑅 𝑋2 𝑋1 = 𝑆𝑆𝑅 𝑋1, 𝑋2 − 𝑆𝑆𝑅 𝑋1
Suma de cuadrados extra
• Denotamos como 𝑆𝑆𝑅(𝑋2|𝑋1) a la suma de cuadrados extra, que se define 
como:
𝑆𝑆𝑅 𝑋2 𝑋1 = 𝑆𝑆𝐸 𝑋1 − 𝑆𝑆𝐸(𝑋1, 𝑋2)
o de forma equivalente:
𝑆𝑆𝑅 𝑋2 𝑋1 = 𝑆𝑆𝑅 𝑋1, 𝑋2 − 𝑆𝑆𝑅 𝑋1
• La razón de la equivalencia entre la reducción marginal en la suma
cuadrática de los errores y el incremento marginal en la suma cuadrática de 
regresión es la siguiente identidad que proviene del análisis de varianza:
𝑆𝑆𝑇𝑂 = 𝑆𝑆𝑅 + 𝑆𝑆𝐸
Suma de cuadrados extra
• Podemos considerar suma de cuadrados extra de otro tipo:
𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2 = 𝑆𝑆𝐸 𝑋1, 𝑋2 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
o de forma equivalente:
𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2 = 𝑆𝑆𝑅 𝑋1, 𝑋2, 𝑋3 − 𝑆𝑆𝑅 𝑋1, 𝑋2
Suma de cuadrados extra
• Podemos considerar suma de cuadrados extra de otro tipo:
𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1 =
o de forma equivalente:
𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1 =
Descomposición de 𝑆𝑆𝑅 en suma de 
cuadrados extra
• En regresión lineal múltiple podemos obtener una variedad de descomposiciones
para 𝑆𝑆𝑅 en suma de cuadrados extra
𝑆𝑆𝑇𝑂 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝐸 𝑋1
𝑆𝑆𝑇𝑂 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 𝑋1 + 𝑆𝑆𝐸 𝑋1, 𝑋2
ya que 𝑆𝑆𝑅 𝑋2 𝑋1 = 𝑆𝑆𝐸 𝑋1 − 𝑆𝑆𝐸(𝑋1, 𝑋2)
𝑆𝑆𝑇𝑂 = 𝑆𝑆𝑅 𝑋1, 𝑋2 + 𝑆𝑆𝐸 𝑋1, 𝑋2 .
Con esta expresión obtenemos:
𝑆𝑆𝑅 𝑋1, 𝑋2 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 𝑋1
Descomposición de 𝑆𝑆𝑅 en suma de 
cuadrados extra
𝑆𝑆𝑅 𝑋1, 𝑋2 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 𝑋1
Por tanto, podemos descomponer 𝑆𝑆𝑅 𝑋1, 𝑋2 en dos componentes
marginales:
• 𝑆𝑆𝑅 𝑋1 : mide la contribución de incluir 𝑋1 solo en el modelo
• 𝑆𝑆𝑅 𝑋2 𝑋1 : mide la contribución adicional cuando se incluye 𝑋2, 
dado que 𝑋1 ya se encuentra en el modelo
El orden de las variables 𝑋 es arbitrario:
𝑆𝑆𝑅 𝑋1, 𝑋2 = 𝑆𝑆𝑅 𝑋2 + 𝑆𝑆𝑅 𝑋1 𝑋2
Descomposición de 𝑆𝑆𝑅 en suma de 
cuadrados extra
• Cuando el modelo de regresión contiene tres variables, se pueden obtener
una variedad de descomposiciones para 𝑆𝑆𝑅 𝑋1, 𝑋2, 𝑋3 . Por ejemplo:
𝑆𝑆𝑅 𝑋1, 𝑋2, 𝑋3 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 𝑋1 + 𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2
𝑆𝑆𝑅 𝑋1, 𝑋2, 𝑋3 = 𝑆𝑆𝑅 𝑋2 + 𝑆𝑆𝑅 𝑋3 𝑋2 + 𝑆𝑆𝑅 𝑋1 𝑋2, 𝑋3
𝑆𝑆𝑅 𝑋1, 𝑋2, 𝑋3 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1
• El número de posibles decomposiciones se vuelve muy grande cuando se 
incrementa el número de variables predictoras 𝑋 en el modelo de 
regresión
Descomposición de 𝑆𝑆𝑅 en suma de 
cuadrados extra
Tabla ANOVA con la descomposición de 𝑆𝑆𝑅
• Podemos construir tablas ANOVA con descomposiciones de 𝑆𝑆𝑅 en
suma de cuadrados extra
• A continuación mostramos un ejemplo de tabla ANOVA con 
descomposición de 𝑆𝑆𝑅 para 3 variables predictoras 𝑋
Tabla ANOVA con la descomposición de 𝑆𝑆𝑅
• Note que cada suma de cuadrados extra que implica una variable 𝑋
extra tiene asociado un solo grado de libertad
• Podemos construir medias cuadráticas. Por ejemplo:
𝑀𝑆𝑅 𝑋2 𝑋1 =
𝑆𝑆𝑅 𝑋2 𝑋1
1
Tabla ANOVA con la descomposición de 𝑆𝑆𝑅
• Suma de cuadrados extra que implican dos variables 𝑋 extra tienen
asociado dos grados de libertad
• Podemos expresar una suma de cuadrados extra que implican dos variables 
𝑋 como una suma de dos sumas de cuadrados extra, cada una asociada
con un grado de libertad
• Por ejemplo:
𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1 = 𝑆𝑆𝑅 𝑋2 𝑋1 + 𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2
• La media cuadrática se obtiene por ende como:
𝑀𝑆𝑅 𝑋2, 𝑋3 𝑋1 =
𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1
2
Tabla ANOVA con la descomposición de 𝑆𝑆𝑅
• La razón por la cual las sumas de cuadrados extra son de interés es 
porque son de uso en una variedad de pruebas de hipótesis para los 
coeficientes de regresión
• En estas pruebas se investiga si ciertas variables 𝑋 pueden ser 
removidas del modelo de regresión
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• Prueba de hipótesis para 𝛽𝑘:
𝐻0: 𝛽𝑘 = 0
𝐻𝑎: 𝛽𝑘 ≠ 0
• Sabemos que bajo 𝐻0 el siguiente estadístico de prueba es correcto
para esta prueba:
𝑡∗ =
𝐵𝑘
𝑠 𝐵𝑘
• De manera equivalente, podemos usar el enfoque de prueba lineal 
general (ver RegresionLinealSimple2.ppt)
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• El enfoque de prueba lineal general implica una suma de cuadrados extra
• Consideremos el siguiente modelo de regresión de primer orden con tres variables 
predictoras:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 + 𝜀𝑖
(Full model o modelo completo)
• Para probar si:
𝐻0: 𝛽3 = 0
𝐻𝑎: 𝛽3 ≠ 0
usando el enfoque de prueba lineal general, una opción es ajustar el modelo completo y 
luego ajustar el modelo reducido:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝜀𝑖
(Modelo reducido)
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• Al ajustar el modelo completo, obtenemos la suma cuadrática de los 
errores 𝑆𝑆𝐸(𝐹):
𝑆𝑆𝐸 𝐹 = 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
con 𝑑𝑓𝐹 = 𝑛 − 4 grados de libertad asociados
• Al ajustar el modelo reducido, bajo 𝐻0, obtenemos:
𝑆𝑆𝐸 𝑅 = 𝑆𝑆𝐸 𝑋1, 𝑋2
con 𝑑𝑓𝑅 = 𝑛 − 3 grados de libertad asociados
• El estadístico de prueba lineal general definido anteriormente es:
𝐹∗ =
𝑆𝑆𝐸 𝑅 − 𝑆𝑆𝐸(𝐹)
𝑑𝑓𝑅 − 𝑑𝑓𝐹
÷
𝑆𝑆𝐸(𝐹)
𝑑𝑓𝐹
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• El estadístico de prueba lineal general definido anteriormente es:
𝐹∗ =
𝑆𝑆𝐸 𝑅 − 𝑆𝑆𝐸(𝐹)
𝑑𝑓𝑅 − 𝑑𝑓𝐹
÷
𝑆𝑆𝐸(𝐹)
𝑑𝑓𝐹
• Para nuestra prueba se convierte en:
𝐹∗ =
𝑆𝑆𝐸 𝑋1, 𝑋2 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 3) − (𝑛 − 4)
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
𝐹∗ =
𝑆𝑆𝐸 𝑋1, 𝑋2 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 3) − (𝑛 − 4)
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
• El estadístico de prueba lineal general implica suma de cuadrados extra. Note que la 
diferencia en el numerador implica una suma de cuadrados extra ya que:
𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2 = 𝑆𝑆𝐸 𝑋1, 𝑋2 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
Por lo que podemos reescribir el estadístico de prueba lineal general como:
𝐹∗ =
𝑆𝑆𝑅 𝑋3 𝑋1, 𝑋2
1
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
=
𝑀𝑆𝑅 𝑋3 𝑋1, 𝑋2
𝑀𝑆𝐸 𝑋1, 𝑋2, 𝑋3
• Por tanto, no es necesario ajustar el modelo completo y el modelo reducido si el paquete
estadístico usado por el usuario puede proveer el ajuste del modelo completo y la suma
de cuadrados extra apropiada
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
𝐹∗ =
𝑆𝑆𝐸 𝑋1, 𝑋2 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 3) − (𝑛 − 4)
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
• Por tanto, la prueba sobre 𝛽3 = 0 o 𝛽3 ≠ 0 es una prueba marginal, dado 
que 𝑋1 y 𝑋2 se encuentran ya en el modelo
• A este estadístico de prueba para probar si 𝛽3 = 0 o no, es llamado
“estadístico de prueba 𝐹 parcial”, para distinguirlo del estadístico de 
prueba 𝐹∗ =
𝑀𝑆𝑅
𝑀𝑆𝐸
(prueba 𝐹 general) que prueba si todos los 𝛽𝑘 = 0 o no, 
i.e. si hay una relación de regresión entre 𝑌 y el conjunto de variables 
predictoras 𝑋 o no
• El estadístico de prueba 𝐹 parcial es equivalente al estadístico de prueba
𝑡∗, ya que 𝐹∗ = 𝑡∗ 2
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión• En regresión múltiple estamos a menudo interesados en investigar si
algunos términos del modelo de regresión deberían ser removidos
• Por ejemplo, podríamos investigar si 𝛽2𝑥2 y 𝛽3𝑥3 deberían ser 
removidos del modelo completo:
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 + 𝜀𝑖
• Modelo reducido (bajo 𝐻0):
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝜀𝑖
• Prueba de hipótesis:
𝐻0: 𝛽2 = 𝛽3 = 0
𝐻𝑎: 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝑒𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑡𝑒 𝑑𝑒 𝑐𝑒𝑟𝑜
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• Modelo reducido (bajo 𝐻0):
𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝜀𝑖
• Prueba de hipótesis:
𝐻0: 𝛽2 = 𝛽3 = 0
𝐻𝑎: 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝑒𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑡𝑒 𝑑𝑒 𝑐𝑒𝑟𝑜
• Al ajustar el modelo reducido, obtenemos:
𝑆𝑆𝐸 𝑅 = 𝑆𝑆𝐸 𝑋1
con 𝑑𝑓𝑅 = 𝑛 − 2 grados de libertad asociados
• El estadístico de prueba lineal general para esta prueba es:
𝐹∗ =
𝑆𝑆𝐸 𝑋1 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 2) − (𝑛 − 4)
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• El estadístico de prueba lineal general para esta prueba es:
𝐹∗ =
𝑆𝑆𝐸 𝑋1 − 𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 2) − (𝑛 − 4)
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
Escrito en términos de suma de cuadrados extra tenemos:
𝐹∗ =
𝑆𝑆𝑅 𝑋2, 𝑋3 𝑋1
2
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, 𝑋3
(𝑛 − 4)
=
𝑀𝑆𝑅 𝑋2, 𝑋3 𝑋1
𝑀𝑆𝐸 𝑋1, 𝑋2, 𝑋3
Uso de las sumas de cuadrado extra en pruebas de 
hipótesis para coeficientes de regresión
• Para probar si un solo 𝛽𝑘 es igual a cero o no, disponemos de dos 
estadísticos de prueba: el estadístico de prueba 𝑡∗ y el estadístico de 
prueba lineal general 𝐹∗
• Para probar si varios 𝛽𝑘 son iguales a cero o no, disponemos
únicamente del estadístico de prueba lineal general 𝐹∗
Resumen de Pruebas concernientes a 
coeficientes de regresión
• Probar si todos los 𝛽𝑘 = 0 o no
Esta es la prueba 𝐹 general si existe o no relación de regresión entre la 
variable de respuesta 𝑌 y el conjunto de variables predictoras 𝑋. Las 
hipótesis son:
𝐻0: 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝−1 = 0
𝐻𝑎: 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝛽𝑘 𝑘 = 1,⋯ , 𝑝 − 1 𝑒𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑡𝑒 𝑑𝑒 𝑐𝑒𝑟𝑜
El estadístico de prueba es:
𝐹∗ =
𝑆𝑆𝑅 𝑋1, 𝑋2, ⋯ , 𝑋𝑝−1
𝑝 − 1
÷
𝑆𝑆𝐸 𝑋1, 𝑋2, ⋯ , 𝑋𝑝−1
𝑛 − 𝑝
=
𝑀𝑆𝑅
𝑀𝑆𝐸
Bajo 𝐻0, 𝐹
∗~ 𝐹 𝑝 − 1, 𝑛 − 𝑝 . Valores grandes de 𝐹∗ dan soporte a 𝐻𝑎
Resumen de Pruebas concernientes a 
coeficientes de regresión
• Probar si un 𝛽𝑘 = 0 o no
Esta es la prueba 𝐹 parcial si un coeficiente de regresión particular 𝛽𝑘 es 
igual a cero o no. Las hipótesis son:
𝐻0: 𝛽𝑘 = 0
𝐻𝑎: 𝛽𝑘 ≠ 0
El estadístico de prueba es:
𝐹∗ =
𝑆𝑆𝑅 𝑋𝑘|𝑋1, ⋯ , 𝑋𝑘−1, 𝑋𝑘+1, ⋯ , 𝑋𝑝−1
1
÷
𝑆𝑆𝐸 𝑋1, ⋯ , 𝑋𝑝−1
𝑛 − 𝑝
=
𝑀𝑆𝑅 𝑋𝑘|𝑋1, ⋯ , 𝑋𝑘−1, 𝑋𝑘+1, ⋯ , 𝑋𝑝−1
𝑀𝑆𝐸
Bajo 𝐻0, 𝐹
∗~ 𝐹 1, 𝑛 − 𝑝 . Valores grandes de 𝐹∗ dan soporte a 𝐻𝑎
Resumen de Pruebas concernientes a 
coeficientes de regresión
• Probar si un 𝛽𝑘 = 0 o no
El estadístico de prueba 𝑡∗ es equivalente al estadístico de prueba
𝐹 parcial:
𝑡∗ =
𝐵𝑘
𝑠 𝐵𝑘
Bajo 𝐻0, 𝑡
∗~ 𝑡 𝑛 − 𝑝 . Valores grandes de 𝑡∗ dan soporte a 𝐻𝑎
Resumen de Pruebas concernientes a 
coeficientes de regresión
• Probar si algunos 𝛽𝑘 = 0 o no
Esta es otra prueba 𝐹 parcial. En este caso las hipótesis son:
𝐻0: 𝛽𝑞 = 𝛽𝑞+1 = ⋯ = 𝛽𝑝−1 = 0
𝐻𝑎: 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝛽𝑘 𝑒𝑛 𝐻0 𝑒𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑡𝑒 𝑑𝑒 𝑐𝑒𝑟𝑜
El estadístico de prueba es:
𝐹∗ =
𝑆𝑆𝑅 𝑋𝑞 , ⋯ , 𝑋𝑝−1|𝑋1,⋯ , 𝑋𝑞−1
𝑝 − 𝑞
÷
𝑆𝑆𝐸 𝑋1, ⋯ , 𝑋𝑝−1
𝑛 − 𝑝
=
𝑀𝑆𝑅 𝑋𝑞 , ⋯ , 𝑋𝑝−1|𝑋1,⋯ , 𝑋𝑞−1
𝑀𝑆𝐸
Bajo 𝐻0, 𝐹
∗~ 𝐹 𝑝 − 𝑞, 𝑛 − 𝑝 . Valores grandes de 𝐹∗ dan soporte a 𝐻𝑎
• Note que este estadístico de prueba abarca los dos casos anteriores. Si 𝑞 = 1, la prueba
es si todos los coeficientes de regresión son iguales a cero o no. Si 𝑞 = 𝑝 − 1, la prueba
es si un solo coeficiente de regresión es igual a cero o no
Multicolinealidad
• Muy a menudo, en aplicaciones de negocios, economía, ciencias sociales y 
biología, las variables predictoras tienden a estar correlacionadas entre 
ellas y con otras variables que se relacionan también con la variable de 
respuesta, pero que no se encuentran en el modelo
• Por ejemplo, en un problema de regresión en el que se trata de explicar el 
gasto familiar en comida usando las variables explicativas: ingreso familiar, 
ahorro familiar, edad del (de la) jefe del hogar. Estas variables explicativas
van a estar correlacionadas. Además, estas variables explicativas van a 
estar correlacionadas con otras variables socioeconómicas, que no se 
encuentran en el modelo, pero que afectan la variable gasto familiar en
comida. Por ejemplo, tamaño de la familia
• Cuando las variables predictoras se encuentran correlacionadas entre ellas, 
se dice que existe multicolinealidad
Multicolinealidad
• Ejemplo: efecto del tamaño del equipo de trabajo (𝑋1) y el nivel de 
pago de bonificaciones (𝑋2) en la productividad del equipo (𝑌)
Multicolinealidad
• Ejemplo: efecto del tamaño del equipo de trabajo (𝑋1) y el nivel de 
pago de bonificaciones (𝑋2) en la productividad del equipo (𝑌)
Multicolinealidad
• Consideremos un modelo de regression lineal de primer orden
• Cuando no existe correlación entre las variables predictoras
consideradas, los efectos atribuídos a ellas son los mismos sin 
importar, sin importar cual de las otras variables predictoras estén
incluídas en el modelo
• Cuando no existe correlación entre las variables predictoras
consideradas, la contribución marginal de una variable predictora
para reducir suma cuadrática de error cuando las otras variables 
están en el modelo es exactamente la misma que cuando esta
variable predictora se encuentra en el modelo sóla
• Esto es posible diseñar en experimentos controlados
Multicolinealidad
• Ejemplo: dos variables predictoras perfectamente correlacionadas, 
que no contienen componente del error aleatorio
Multicolinealidad
• Ejemplo: dos variables predictoras perfectamente correlacionadas que no contienen componente
del error aleatorio
• A una persona se le pidió ajustar la función de regresión múltiple de primer orden:
𝐸 𝑌 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2
Esta persona regresión con la función de respuesta ajustada:
෠𝑌 = −87 + 𝑥1 + 18𝑥2
Esta persona se sentía orgullosa con su modelo, ya que la función de respuesta estimada se ajustaba
perfectamente a los datos
• Otra persona estimó también la función de respuesta en estos mismos datos y obtuvo:
෠𝑌 = −7 + 9𝑥1 + 2𝑥2
la cual también se ajustaba perfectamente a los datos
• Efectivamente, un número infinito de funciones de respuesta se ajustarán perfectamente a los 
datos. La razón es que las variables predictoras 𝑥1 y 𝑥2 se encuentran perfectamente
relacionadas, de acuerdo a la siguiente relación:
𝑥2 = 5 + 0.5𝑥1
Multicolinealidad
• Ejemplo: dos variables predictoras perfectamente correlacionadas
Las dos funciones de respuesta tienen los mismos valores ajustados solo 
cuando se intersectan
Multicolinealidad
• Ejemplo: dos variables predictoras perfectamente correlacionadas
que no contienen componente del error aleatorio
• Por tanto, cuando 𝑥1 y 𝑥2 están perfectamente relacionadas y, como
en este ejemplo, los datos no contienen componente de error 
aleatorio, algunas funciones de respuesta diferentes resultarán en los 
mismos valores ajustados perfectamente para las observaciones y en
los mismos valores ajustados para cualquier otra combinación
(𝑥1, 𝑥2) que siga la relación entre 𝑥1 y 𝑥2
• Sin embargo, estas funciones de respuesta no son las mismas y 
conllevarán a diferentes valores ajustados para combinaciones de 
valores 𝑥1 y 𝑥2 que no sigan la relación entre 𝑥1 y 𝑥2
Multicolinealidad
• Ejemplo: dos variables predictoras perfectamente correlacionadas
que no contienen componente del error aleatorio
• La relacion perfecta entre 𝑥1 y 𝑥2 no inhibió nuestra habilidadpara 
obtener un buen ajuste en nuestros datos (descripción), ni tiende a 
afectar inferencias sobre medias condicionales o predicciones de 
nuevas observaciones, siempre y cuando estas inferencias se hagan
dentro de la región de observaciones
• Ya que algunas funciones de respuesta dan el mismo ajuste perfecto, 
no es posible hacer interpretaciones sobre efectos y sobre la 
importancia de estos efectos (qué variable es más importante)
Efectos de la Multicolinealidad
• En la práctica, rara vez encontramos casos con variables predictoras
perfectamente relacionadas, o datos que no contienen algún
componente de error aleatorio
• Los coeficientes de regresión estimado tienden a tener una varibilidad
muestral mayor cuando los predictores se encuentran altamente
correlacionados
• Por tanto, los coeficientes de regresión estimados tienden a variar
mucho de una muestra a otra
• Como consecuencia, algunos de los coeficientes de regresión
estimados individualmente podrían resultar no significativos, incluso
si existe, en efecto, una relación estadística entra la variable de 
respuesta y este conjunto de variables predictoras
Efectos de la Multicolinealidad
• La interpretación de un coeficiente de regresión que mide el cambio
en el valor esperado de la variable de respuesta cuando la variable 
predictora se incrementa en una unidad, mientras que las otras
variables predictoras se mantienen constantes, no es applicable 
completamente cuando existe multicolinealidad
• Por ejemplo, en un modelo de regresión para predecir niveles de 
cosecha en base a la cantidad de precipitación y en base a las horas 
de sol, la relación entre las dos variables predictoras hace poco
realista considerer variar una manteniendo a la otra constante
• Por tanto, la interpretación sencilla de los coeficientes de regresión de 
medir efectos marginales no se garantiza con variables predictoras
altamente correlacionadas
Multicolinealidad
• Multicolinealidad también aparece cuando consideramos
interacciones entre variables predictoras, o términos polinómicos
cuadráticos, cúbicos,…
• Estos son temas a ver en este curso…
• Una práctica muy común para reducir los efectos de multicolinealidad
es el de centrar las variables predictoras