Apuntes 3

Vista previa del material en texto

Apuntes de Econometría
Prof. Ricardo Guzmán
Ponti�cia Universidad Católica de Chile
Instituto de Economía
2do Semestre de 2006
Sección 3: Álgebra de mínimos cuadra-
dos
En la sección anterior introdujimos los supuestos clásicos
del modelo de regresión:
1. Linealidad: y = X� + ".
2. Exogeneidad estricta: E (" jX) = 0N�1.
3. No multicolinealidad perfecta: columnas deX son LI
con probabilidad 1.
4. Perturbaciones esféricas: E(""0 jX) = �2IN .
En esta sección veremos cómo estimar � (el vector inob-
servable de los parámetros) mediante el método de míni-
mos cuadrados ordinarios (MCO) usando la información
contenida en la muestra (y;X).
Llamaremos b� al estimador MCO de �.
Una vez que tengamos b� podremos usarlo para obtener
valores estimados de y:
ŷi = xi1�̂1 + xi2�̂2 + :::+ xiK�̂K
= x0i
b�;
o bien, matricialmente, ŷ = Xb�.
Es importante notar que, en estricto rigor, ŷ no es un
estimador de y, si no que un estimador de E(y jX), la
esperanza condicional de y dado X.
E(y jX) es, por su parte, el mejor predictor de y dada
la información contenida en las variables independientes
(demostraremos eso más tarde).
MCO minimiza la suma de cuadrados resi-
duales
Si bien es imposible observar " directamente, podemos
calcular cuanto sería " si � fuera igual a cierto valor
hipotético e�:
e" = y �Xe�:
e" recibe el nombre de residuo o error estimado. A par-
tir del residuo podemos calcular la suma de cuadrados
residuales correspondiente a e�:
SCR(e�) = e"0e" = (y �Xe�)0(y �Xe�)
El estimador MCO se obtiene minimizando SCR(e�) con
respecto a e�: b� = argm��ne� SCR(e�)
Como SCR(e�) depende de la muestra, la que es aleatoria,b� también es aleatorio.
Ecuaciones Normales
Un poco de álgebra nos permite reescribir SCR(e�) así:
y0y � 2y0Xe� + e�0X0Xe�:
Para encontrar el valor de e� que minimiza SCR(e�) deriva-
mos la expresión con respecto a e� e igualamos el resul-
tado al vector cero:
@ SCR(e�)
@ e� = �2X0y + 2X0Xe� = 0
Reordenando obtenemos las llamadas ecuaciones normales:
X0Xe� = X0y
Como las columnas de X son LI con probabilidad 1, X0X
es invertible con probabilidad 1. Eso nos permite despejar
el estimador MCO de las ecuaciones normales:
b� = (X0X)�1X0y
A los residuos e" evaluados en e� = b� se les llama residuos
MCO o, simplemente, errores estimados:
"̂ = y �Xb�:
Manipulando las ecuaciones normales obtenemos X0(y�
Xb�) = 0, o bien
X0"̂ = 0
lo que signi�ca que las ecuaciones normales son el análo-
go muestral de la ortogonalidad entre error y regresores,
E
�
X0"
�
= 0.
Para estar seguros de que SCR(e�) alcanza un mínimo
cuando e� = b�, es preciso veri�car que se cumplen las
condiciones de segundo orden: la matriz de segundas derivadas
de SCR(e�) con respecto e� debe ser de�nida positiva:
@2 SCR(e�)
@ e�@ e�0 = 2X0X:
Eso es cierto. ¿Por qué?
y = β1 + β2 x + ε
x
y
xi
E ( y | xi )
yi
εi
y = β1 + β2 x + ε^ ^ ^
yî
ε̂i
A modo de resumen, el �mono�muestra la relación en-
tre los distintos elementos, verdaderos y estimados, del
modelo bidimensional.
La esperanza condicional como predictor
Dijimos antes que E(y jx0) es el �mejor predictor� de
y dada la información contenida en x0. ¿Mejor en qué
sentido? Mejor porque minimiza el error de predicción
esperado.
Probémoslo. Sea � (x) un predictor de y dado x0. El mejor
predictor de y dado x0 es el que resuelve el siguiente
problema:
m��n
�(x0)
Ef[�(x0)� y]2 jx0g:
La condición de primer orden del problema es
@ E[(� � y)2 jx0]
@�
= 2� � 2 E[y jx0] = 0:
Resolviendo la ecuación anterior, obtenemos:
�(x0) = E[y jx0]:
Lo que queríamos demostrar. �
Pregunta 1: ¿Podemos estar seguros de que hemos en-
contrado un mínimo?
Pregunta 2: ¿Cuál es el mínimo error de predicción es-
perado?