Clase 07 (Bondad de Ajuste y Propiedades del Estimador MCO) - Zaida Moreno Páez

Vista previa del material en texto

Econometŕıa I – EAE-250A
Bondad de Ajuste y Propiedades del Estimador MCO
Jaime Casassus
Instituto de Econoḿıa
Pontificia Universidad Católica de Chile
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Tabla de Contenidos
1 Propiedades aritméticas del estimador MCO
2 Bondad de Ajuste
3 Propiedades estad́ısticas del estimador MCO
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
û y X son ortogonales
• De las ecuaciones normales:
X>X β̂ = X>y ⇒ X>(X β̂ − y) = 0⇒ X>û = 0
• Esto implica que:
X>û =

1 · · · 1
x11 · · · xn1
...
. . .
...
x1k · · · xnk

 û1...
ûn
 =

∑n
i=1 ûi∑n
i=1 xi1ûi
...∑n
i=1 xik ûi
 =

0
0
...
0

• Si el modelo tiene intercepto, los errores estimados suman cero y son
ortogonales a los regresores
n∑
i=1
ûi = 0 y x
>
j û = 0 ∀j
• Esto además implica que ŷ>û = β̂>X>û = 0
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Regresión pasa por promedios muestrales
• Si el modelo tiene intercepto, la regresión pasa por el promedio de los datos.
n∑
i=1
ûi = 0 ⇔
n∑
i=1
(yi − β̂0 − β̂1x1 . . .− β̂kxk) = 0
⇔ 1
n
n∑
i=1
yi =
1
n
n∑
i=1
β̂0 + . . .+
1
n
n∑
i=1
β̂kxk
⇔ ȳ = β̂0 + β̂1x̄1 + β̂2x̄2 . . .+ β̂k x̄k
• Si el modelo tiene intercepto, el promedio muestral de las variables
dependientes es igual al promedio muestral de las variables dependientes
estimadas.
n∑
i=1
ûi = 0 ⇔
n∑
i=1
(yi − ŷi ) = 0
⇔ 1
n
n∑
i=1
yi =
1
n
n∑
i=1
ŷi
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Tabla de Contenidos
1 Propiedades aritméticas del estimador MCO
2 Bondad de Ajuste
3 Propiedades estad́ısticas del estimador MCO
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Descomposición de la varianza muestral
• Sea SST la suma de cuadrados totales (total sum of squares)
SST =
n∑
i=1
(yi − ȳ)2
• Sea SSE la suma de cuadrados explicados (explained sum of squares)
SSE =
n∑
i=1
(ŷi − ȳ)2
• Sea SSR la suma de cuadrados no explicados (residual sum of squares)
SSR =
n∑
i=1
û2i
• Tarea: demuestre que
SST = SSE + SSR
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Bondad de Ajuste: R2
• A partir de esta relación se define
R2 =
SSE
SST
= 1− SSR
SST
que corresponde a la proporción de la varianza muestral de y que es
explicada por la regresión MCO.
• R2 es válido como medida de la fracción de la varianza explicada cuando hay
constante en la regresión.
• Como 0 ≤ SSE ≤ SST , entonces 0 ≤ R2 ≤ 1
• Si existe independencia entre X e y , entonces R2 = 0. Sin embargo, R2 = 0
no implica independencia.
• Como es una medida de asociación lineal, no tiene sentido utilizarlo para
describir relaciones no lineales.
• El R2 busca estimar el ajuste a nivel poblacional
ρ2 = 1− σ
2
u
σ2y
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Bondad de Ajuste: R̄2 ajustado
• R2 crece a medida que se agregan más variables al modelo. Esto ocurre
incluso si la variable agregada no es relevante en el modelo poblacional.
• Se necesita de una medida que ajuste por la cantidad de regresores.
• Se define el R̄2 ajustado como
R̄2 = 1− SSR/(n − k − 1)
SST/(n − 1)
donde se usan los estimadores insesgados de σ2u y σ
2
y .
• Este ajuste no implica necesariamente que R̄2 sea un estimador insesgado de
ρ2.
• El principal atractivo de R̄2 es que penaliza por el número de regresores.
• Note que R̄2 podŕıa ser negativo.
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Tabla de Contenidos
1 Propiedades aritméticas del estimador MCO
2 Bondad de Ajuste
3 Propiedades estad́ısticas del estimador MCO
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
El estimador MCO es insesgado
• Teorema: bajo los supuestos 1 a 4, el estimador MCO de β es insesgado.
• Demostración:
◦ El estimador MCO es
β̂ = (X>X )−1X>y
= (X>X )−1X>(Xβ + u)
= β + (X>X )−1X>u
◦ Por lo tanto,
E (β̂|X ) = β + (X>X )−1X>E (u|X )
= β
• Esto implica que el promedio de los estimadores β̂ obtenidos con todas las
muestras aleatorias posibles es igual β.
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Varianza del estimador MCO
• Teorema: bajo los supuestos 1 a 5, la varianza del estimador MCO de β es
Var(β̂|X ) = σ2(X>X )−1
• Demostración:
Var(β̂|X ) = E [(β̂ − E (β̂))(β̂ − E (β̂))>|X ]
= E [(β̂ − β)(β̂ − β)>|X ]
= E [(X>X )−1X>u u>X (X>X )−1|X ]
= (X>X )−1X>E [u u>|X ]X (X>X )−1
= (X>X )−1X>σ2I X (X>X )−1
= σ2(X>X )−1(X>X )(X>X )−1
= σ2(X>X )−1
• (Nota: Si Cov(y , z) = Ω, entonces Cov(Ay ,B z) = AΩB>)
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Varianza del estimador MCO (cont.)
• Teorema: bajos los supuestos 1 a 5, en un modelo con intercepto, se
cumple
Var(β̂j |X ) =
σ2
SSTj(1− R2j )
∀j = 1, . . . , k
donde
◦ SSTj =
∑n
i=1(xij − x̄j)2 suma total de los cuadrados de xj y
◦ R2j es el R2 resultante de la regresión de xj (como variable
dependiente) en todas las otras variables independientes, incluida la
constante. R2j indica cuánto de la variable xj es explicado por las otras
variables independientes.
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Varianza del estimador MCO (cont.)
• Demostración:
◦ Sin perder generalidad, suponga que j = 1
◦ Regresione x1 en x2, . . . , xk para obtener x1 = x̂1 + r̂1
◦ Usando las ecuaciones normales se obtiene
0 = x>1 û = (x̂1 + r̂1)
>û = r̂1
>û = r̂1
>(y− ŷ) = r̂1>(y− β̂1x1) = r̂1>(y− β̂1 r̂1)
◦ Despejando
β̂1 =
r̂1
>y
r̂1
> r̂1
=
r̂1
>(Xβ + u)
r̂1
> r̂1
=
r̂1
>(β1x1 + u)
r̂1
> r̂1
=
r̂1
>(β1 r̂1 + u)
r̂1
> r̂1
= β1 +
r̂1
>u
r̂1
> r̂1
◦ Por lo tanto
Var(β̂1|X ) =
σ2
r̂1
> r̂1
◦ Pero SSR1 = r̂1> r̂1, lo que implica que
Var(β̂1|X ) =
σ2
SST1(1− R21 )
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Varianza del estimador MCO (cont.)
• Var(β̂j |X ) es creciente en σ2.
◦ Mientras más ruido haya en la ecuación más dif́ıcil es estimar el efecto
parcial de xj en y .
◦ Recuerde que σ2 es una caracteŕıstica de la población (no está
relacionado con el tamaño de la muestra).
• Var(β̂j |X ) es decreciente en SSTj .
◦ Esto que implica se prefiere una mayor variación muestral en xj .
◦ Una alternativa para aumentar esta cantidad y reducir la varianza es
aumentar el tamaño muestral.
◦ El supuesto 3 asegura que SSTj 6= 0.
• Var(β̂j |X ) es creciente en R2j .
◦ El supuesto 3 asegura que R2j < 1, sin embargo, cuando R2j → 1,
Var(β̂j |X )→∞.
◦ Esto se conoce como multicolinealidad.
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Problema de multicolinealidad
• La multicolinealidad no rompe alguno de los supuestos.
• La multicolinealidad es un “problema” que no está bien definido. No hay un
valor ĺımite a partir del cual R2j se considera como multicolinealidad.
• Un intento de disminuir la varianza del estimador podŕıa ser eliminar uno de
los regresores, lo que hace disminuir R2j . Pero como se verá más adelante, la
omisión de variables relevantes produce estimadores sesgados.
• En ciertas ocasiones, altas correlaciones entre algunos regresores es
irrelevante para el estudio. Considere el modelo
y = β0 + β1x1 + β2x2 + β3x3 + u
donde x2 y x3 están altamente correlacionadas, pero la variable de interés,
x1, no está correlacionada con x2 ni x3. ¿Cómo es Var(β̂1|X )?
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
Teorema de Gauss - Markov
• Teorema: bajo los supuestos 1 a 5, el estimador de MCO de β es de ḿınima
varianza entre los estimadores lineales insesgados de β.
• El estimador MCO es el mejor estimador lineal insesgado (MELI / BLUE)
• Demostración:
• Sea β̃ = C(X )y otro estimador lineal insesgado de β, donde C(X ) es una
matriz de (k + 1)× n.
• Como β̃ es insesgado se debe cumplir que C X = I . ¿Por qué?
• Además la varianza de β̃ es Var(β̃|X ) = σ2C C>
• Suponga que D(X ) = C(X )− (X>X )−1X>, por lo tanto, D y = β̃ − β̂.
• Se puede demostrar que
Var(β̃|X ) = Var(β̂|X ) + σ2D D> ≥ Var(β̂|X )
Casassus (UC) EAE-250A - Econometŕıa I 21-May-16
	Propiedades aritméticas del estimador MCO
	 y X son ortogonales
	Regresión pasa por promedios muestralesBondad de Ajuste
	Descomposición de la varianza muestral
	Bondad de Ajuste: R2
	Bondad de Ajuste: 2 ajustado
	Propiedades estadísticas del estimador MCO
	El estimador MCO es insesgado
	Varianza del estimador MCO
	Problema de multicolinealidad
	Teorema de Gauss - Markov