Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Apuntes de Econometría Prof. Ricardo Guzmán Ponti�cia Universidad Católica de Chile Instituto de Economía 2do Semestre de 2006 Sección 3: Álgebra de mínimos cuadra- dos En la sección anterior introdujimos los supuestos clásicos del modelo de regresión: 1. Linealidad: y = X� + ". 2. Exogeneidad estricta: E (" jX) = 0N�1. 3. No multicolinealidad perfecta: columnas deX son LI con probabilidad 1. 4. Perturbaciones esféricas: E(""0 jX) = �2IN . En esta sección veremos cómo estimar � (el vector inob- servable de los parámetros) mediante el método de míni- mos cuadrados ordinarios (MCO) usando la información contenida en la muestra (y;X). Llamaremos b� al estimador MCO de �. Una vez que tengamos b� podremos usarlo para obtener valores estimados de y: ŷi = xi1�̂1 + xi2�̂2 + :::+ xiK�̂K = x0i b�; o bien, matricialmente, ŷ = Xb�. Es importante notar que, en estricto rigor, ŷ no es un estimador de y, si no que un estimador de E(y jX), la esperanza condicional de y dado X. E(y jX) es, por su parte, el mejor predictor de y dada la información contenida en las variables independientes (demostraremos eso más tarde). MCO minimiza la suma de cuadrados resi- duales Si bien es imposible observar " directamente, podemos calcular cuanto sería " si � fuera igual a cierto valor hipotético e�: e" = y �Xe�: e" recibe el nombre de residuo o error estimado. A par- tir del residuo podemos calcular la suma de cuadrados residuales correspondiente a e�: SCR(e�) = e"0e" = (y �Xe�)0(y �Xe�) El estimador MCO se obtiene minimizando SCR(e�) con respecto a e�: b� = argm��ne� SCR(e�) Como SCR(e�) depende de la muestra, la que es aleatoria,b� también es aleatorio. Ecuaciones Normales Un poco de álgebra nos permite reescribir SCR(e�) así: y0y � 2y0Xe� + e�0X0Xe�: Para encontrar el valor de e� que minimiza SCR(e�) deriva- mos la expresión con respecto a e� e igualamos el resul- tado al vector cero: @ SCR(e�) @ e� = �2X0y + 2X0Xe� = 0 Reordenando obtenemos las llamadas ecuaciones normales: X0Xe� = X0y Como las columnas de X son LI con probabilidad 1, X0X es invertible con probabilidad 1. Eso nos permite despejar el estimador MCO de las ecuaciones normales: b� = (X0X)�1X0y A los residuos e" evaluados en e� = b� se les llama residuos MCO o, simplemente, errores estimados: "̂ = y �Xb�: Manipulando las ecuaciones normales obtenemos X0(y� Xb�) = 0, o bien X0"̂ = 0 lo que signi�ca que las ecuaciones normales son el análo- go muestral de la ortogonalidad entre error y regresores, E � X0" � = 0. Para estar seguros de que SCR(e�) alcanza un mínimo cuando e� = b�, es preciso veri�car que se cumplen las condiciones de segundo orden: la matriz de segundas derivadas de SCR(e�) con respecto e� debe ser de�nida positiva: @2 SCR(e�) @ e�@ e�0 = 2X0X: Eso es cierto. ¿Por qué? y = β1 + β2 x + ε x y xi E ( y | xi ) yi εi y = β1 + β2 x + ε^ ^ ^ yî ε̂i A modo de resumen, el �mono�muestra la relación en- tre los distintos elementos, verdaderos y estimados, del modelo bidimensional. La esperanza condicional como predictor Dijimos antes que E(y jx0) es el �mejor predictor� de y dada la información contenida en x0. ¿Mejor en qué sentido? Mejor porque minimiza el error de predicción esperado. Probémoslo. Sea � (x) un predictor de y dado x0. El mejor predictor de y dado x0 es el que resuelve el siguiente problema: m��n �(x0) Ef[�(x0)� y]2 jx0g: La condición de primer orden del problema es @ E[(� � y)2 jx0] @� = 2� � 2 E[y jx0] = 0: Resolviendo la ecuación anterior, obtenemos: �(x0) = E[y jx0]: Lo que queríamos demostrar. � Pregunta 1: ¿Podemos estar seguros de que hemos en- contrado un mínimo? Pregunta 2: ¿Cuál es el mínimo error de predicción es- perado?
Compartir