clase4

Vista previa del material en texto

El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Clase 4: Teoŕıa Econométrica I
Tomás Rau
16 de agosto
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Contenidos
El Modelo de Regresión Lineal
Bondad de Ajuste
Regresión Particionada
Momentos del Estimador OLS
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Interpretación Geométrica
Note que Y = X β̂ + ǫ̂, luego
ǫ̂ ≡ y − Xβ̂
= (I− X(X′X)−1X′)y
= Mxy.
Donde Mx es una matriz de proyección (idempotente y simétrica)
en el espacio nulo de las columnas X, Col(X). Por otra parte,
ŷ ≡ Xβ̂
= X(X′X)−1X′y
≡ Pxy
Donde Px es una matriz de proyección en el espacio generado por
las columnas de X.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Interpretación Geométrica
Luego, y = Mxy + Pxy
Figura : Descomposición Ortogonal de Y
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Bondad de Ajuste
Si la primera columna de X es una vector columna “ι” igual a 1, se
tiene una medida resumen para la “bondad de ajuste” de los
valores predichos de la siguiente identidad:
n
∑
i=1
(Yi − Ȳ )
2 =
n
∑
i=1
(Yi − Ŷi )
2 +
n
∑
i=1
(Ŷi − Ȳ )
2
TSS = RSS + ESS
1 =
RSS
TSS
+
ESS
TSS
donde RSS es la suma de los residuos al cuadrado , TSS es la suma
Total de las desviaciones de y con respecto a su media y ESS la
suma explicada por el modelo. La medida de bondad de ajuste es
R2 =
ESS
TSS
= 1−
RSS
TSS
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Bondad de Ajuste
En términos matriciales
R2 ≡ 1−
(y − Xβ̂)′(y −Xβ̂)
(y − yι)′(y − y ι)
= 1−
ǫ̂′ǫ̂
(y − yι)′(y − yι)
donde y es el promedio muestral (escalar) de la variable
dependiente,
y ≡
1
N
∑
i
Yi
y ι es un vector de unos de dimensión N.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Bondad de Ajuste: R2 y R̃2
Note que:
1 El coeficiente de determinación es siempre menor a 1. Ello
porque RSS ≤ TSS y por lo tanto RSS
TSS
≤ 1.
2 El análisis de varianza anterior fue derivado bajo el supuesto
que el modelo inclúıa una constante . En dicho caso,
necesariamente R2 ≥ 0.
3 Al agregar regresores al modelo, el R2 nunca decrecerá (se
mantendrá constante o aumentará)
4 No es claro cuan bueno sea como predictor de ajuste.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Bondad de Ajuste: R2 y R̃2
Para ver este último punto, suponga que usted posee el siguiente
modelo poblacional:
Y = β1 + β2X + u
donde X es un vector (n × 1). Suponga ahora que restamos X a
ambos lados de nuestro modelo. Obtenemos entonces:
Y − X = β1 + γX + u
Si β2 ≈ 1, entonces es fácil verificar que el R
2 del primer modelo
será alto, mientras que el del segundo sera cercano a cero, a pesar
de que los modelos son matemáticamente equivalentes. A pesar de
lo anterior, en trabajos aplicados, el R2 es ampliamente utilizado,
por lo cual se recomienda su publicación.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Bondad de Ajuste: R2 y R̃2
¿Porqué sucede (3)? ya que al incluir regresores, la RSS
necesariamente decrece (o en el mejor de los casos se mantiene),
mientras que la TSS permanece constante.
Por esta razón se creó el coeficiente de determinación ajustado, el
cual corrige el R2 original por los grados de libertad del numerador
y el denominador. Entonces, definimos el R2 ajustado (R̃2) como:
R̃2 ≡ 1−
(y − Xβ̂)′(y − Xβ̂)/(n − k)
(y − y ι)′(y − y ι)/(n − 1)
= 1−
ǫ̂′ǫ̂
(y − yι)′(y − yι)
(n − 1)
(n − k)
o equivalentemente:
R̃2 = 1− (1− R2)
(n − 1)
(n − k)
(1)
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Regresión Particionada
Al particionar la matriz de regresores en 2, tenemos
X ≡ [X1 X2]
donde X1 es de n × k1 y X2 de n × k2 con k1 + k2 = k lo que,
junto con una versión particionada del estimador OLS
β̂ ≡
(
β̂1
β̂2
)
Aśı, el modelo de regresión lineal se puede escribir de la siguiente
manera
y = X1β1 + X2β2 + ǫ
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Regresión Particionada
Esta notación hace posible que podamos derivar una relación entre
el subvector β̂1 de la regresión “larga” (de y sobre X1 y X2) y los
coeficientes de la regresión “corta” (de y sobre X1):
β̂∗1 ≡ (X
′
1X1)
−1X′1y
que solamente usa la submatriz X1 de regresores. Esta relación es
la siguiente
β̂∗1 = β̂1 + (X
′
1X1)
−1X′1X2β̂2
donde la relación anterior viene de reemplazar
y = X1β̂1 + X2β̂2 + ǫ̂ en el coeficiente de la regresión “corta”.
Si X′1X2 6= 0 y β̂2 6= 0 el término (X
′
1X1)
−1X′1X2β̂2 corresponde al
sesgo por omisión de variables relevantes.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Regresión Particionada
Otra relación algebraica útil es la representación de “regresión
residual” de un determinado subvector, por ejemplo β̂1, de los
coeficientes β̂ de la regresión larga. Definiendo la matriz de
proyección
P2 ≡ X2(X
′
2X2)
−1X′2
que proyecta los vectores en un subespacio lineal generado por las
columnas de X2. Demostraremos que los coeficientes de la
regresión larga pueden ser escritos como
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Regresión Particionada
El estimador de β1 en la regresión larga puede escribirse
β̂1 = (X1M2X1)
−1X′1M2X1
= (X∗1
′
X∗1)
−1X∗1
′
y
= (X∗1
′
X∗1)
−1X∗1
′
y∗
donde
X∗1 ≡ M2X1 ≡ (I− P2)X1
que es el residuo de la regresión de X1 en X2. Por otro lado
tenemos
y∗ ≡ M2y ≡ (I− P2)y
que es el residuo de la regresión y en X2. Todo esto es conocido
como el Teorema de Frisch-Waugh-Lovell.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Momentos del Estimador OLS
Las reglas para el cálculo de la media (vector) y matriz de
varianzas y covarianzas de una función lineal Ay de un vector
aleatorio y (con A no estocástica) son:
E [Ay] = AE [y]
V [Ay] = AV [y]A′
Aplicando estas reglas al estimador OLS β̂, bajo los supuestos
estándar, tenemos,
E [β̂] = (X′X)−1X′E [y]
= (X′X)−1X′Xβ
= β
por lo que el estimador OLS β̂ es insesgado.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Momentos del Estimador OLS
Por otrolado tenemos,
V [β̂] = (X′X)−1XV [y]X(X′X)−1
= (X′X)−1X[σ2I]X(X′X)−1
= σ2(X′X)−1
De forma similar es posible demostrar que s2 es un estimador
insesgado de σ2. Tarea: demostrar que E [s2] = σ2.
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste Regresión Particionada Momentos del Estimador OLS
Momentos del Estimador OLS
El resultado de eficiencia de la versión clásica de OLS, conocido
como Teorema de Gauss-Markov, propone que, bajo las
condiciones estándar, el estimador OLS β̂ es el mejor estimador
lineal insesgado (BLUE por sus siglas en inglés).
Luego, si β̃ es un estimador de β que es lineal en y,
β̃ = Ay
Para alguna matriz A de dimensión K × N y no estocástica. Si β̃
es insesgado, o sea,
E [β̃] = β
Clase 4: Teoŕıa Econométrica I
El Modelo de Regresión Lineal Bondad de Ajuste RegresiónParticionada Momentos del Estimador OLS
Momentos del Estimador OLS
para todos los posibles β ∈ RK , entonces, bajo los supuestos
estándar, la matriz de varianzas y covarianzas de β̃ es tan grande
como la de β̂, en el sentido de que V [β̃]− V [β̂] es semidefinida
positiva.
Demostración: ver pizarra.
Clase 4: Teoŕıa Econométrica I
	El Modelo de Regresión Lineal
	Bondad de Ajuste
	Regresión Particionada
	Momentos del Estimador OLS