Clase 3 - Estimación del Modelo de Regresión Lineal

Vista previa del material en texto

ˇˇ
Econometrı́a I
EAE2510
Clase 3
Estimación del Modelo de Regresión Lineal
Miriam Artiles
Instituto de Economı́a
Pontificia Universidad Católica de Chile
Segundo Semestre 2021
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
En la última clase
• Datos de sección cruzada o corte transversal
• Término de error o perturbación u
◦ Componente aleatorio no observado
◦ Representa todos los factores no incluidos como variables explicativas (x1, ..., xk)
en el modelo que pueden afectar a y
• Una interpretación causal de β1 requiere que todos los factores distintos de x1
que pueden afectar a y sean constantes
◦ Estos factores pueden estar omitidos en el término de error u o incluidos en el
modelo como variables explicativas distintas de x1
• Sólo ası́ puedo saber sin ambiguedad que variaciones en y se deben a
variaciones en x1 y no a variaciones en otras variables (omitidas o incluidas en
el modelo)
1 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
En la clase de hoy1
• Estimación de (β0,β1) siguiendo el criterio de Mı́nimos Cuadrados Ordinarios
◦ Caso 1: modelo de regresión lineal simple
◦ Caso 2: modelo de regresión lineal múltiple (notación matricial)
——–
1 Wooldridge, capı́tulos 2 y 3
2 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
El problema a resolver
• Considera una muestra aleatoria de tamaño n obtenida de la población
{(yi, xi) : i = 1, ..., n}
• Para cada observación i = 1, ..., n de la muestra se tiene la siguiente ecuación
yi = β0 + β1xi + ui
• Nuestro objetivo consiste en obtener estimaciones (β̂0, β̂1) de los parámetros
poblacionales (β0,β1) (desconocidos)
• Seguiremos el criterio de mı́nimos cuadrados ordinarios (MCO)
3 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
El problema a resolver
• Considera una muestra aleatoria de tamaño n obtenida de la población
{(yi, xi) : i = 1, ..., n}
• Para cada observación i = 1, ..., n de la muestra se tiene la siguiente ecuación
yi = β0 + β1xi + ui
• Nuestro objetivo consiste en obtener estimaciones (β̂0, β̂1) de los parámetros
poblacionales (β0,β1) (desconocidos)
• Seguiremos el criterio de mı́nimos cuadrados ordinarios (MCO)
3 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Definiciones: valores ajustados y residuos
• Para cada observación i, se define el valor predicho o ajustado ŷi como
ŷi = β̂0 + β̂1xi
• Vamos a definir el residuo ûi para la observación i como la diferencia entre el
valor verdadero yi y el valor ajustado ŷi
ûi = yi − ŷi = yi − (β̂0 + β̂1xi)
4 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
5 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Estimación: Mı́nimos Cuadrados Ordinarios
• El criterio MCO encuentra (β̂0, β̂1) tal que se minimiza la suma de los residuos
al cuadrado:
β̂0, β̂1 = argmin
{β̂0,β̂1}
1
n
n∑
i=1
û2i = argmin
{β̂0,β̂1}
1
n
n∑
i=1
(yi − β̂0 − β̂1xi)2
• Las condiciones de primer orden del problema de optimización son
β̂0 : −
2
n
n∑
i=1
(yi − β̂0 − β̂1xi) = 0←→
n∑
i=1
ûi = 0 (1)
β̂1 : −
2
n
n∑
i=1
xi(yi − β̂0 − β̂1xi) = 0←→
n∑
i=1
xiûi = 0 (2)
• Las condiciones de primer orden también reciben el nombre de ecuaciones
normales. Las ecuaciones (1) y (2) forman el sistema de ecuaciones normales.
6 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Estimación: Mı́nimos Cuadrados Ordinarios
• El criterio MCO encuentra (β̂0, β̂1) tal que se minimiza la suma de los residuos
al cuadrado:
β̂0, β̂1 = argmin
{β̂0,β̂1}
1
n
n∑
i=1
û2i = argmin
{β̂0,β̂1}
1
n
n∑
i=1
(yi − β̂0 − β̂1xi)2
• Las condiciones de primer orden del problema de optimización son
β̂0 : −
2
n
n∑
i=1
(yi − β̂0 − β̂1xi) = 0←→
n∑
i=1
ûi = 0 (1)
β̂1 : −
2
n
n∑
i=1
xi(yi − β̂0 − β̂1xi) = 0←→
n∑
i=1
xiûi = 0 (2)
• Las condiciones de primer orden también reciben el nombre de ecuaciones
normales. Las ecuaciones (1) y (2) forman el sistema de ecuaciones normales.
6 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Estimación: Mı́nimos Cuadrados Ordinarios
• Siguiendo las propiedas del operador
∑
, de la primera ecuación se obtiene:
β̂0 = ȳ − β̂1x̄
Donde ȳ = n−1
∑n
i=1 yi es la media muestral de las yi y análogamente
x̄ = n−1
∑n
i=1 xi corresponde a la media muestral de las xi
• Trabajando en la segunda ecuación obtenemos:
n∑
i=1
xi(yi − (ȳ − β̂1x̄︸ ︷︷ ︸
β̂0
)− β̂1xi) = 0
Reordenando,
n∑
i=1
xi(yi−ȳ) = β̂1
n∑
i=1
xi(xi−x̄)↔ β̂1 =
∑n
i=1(xi − x̄)(yi − ȳ)∑n
i=1(xi − x̄)2
=
Cov(x, y)
V ar(x)
Donde,
1)
∑n
i=1 xi(yi − ȳ) =
∑n
i=1(xi − x̄)(yi − ȳ)
2)
∑n
i=1 xi(xi − x̄) =
∑n
i=1(xi − x̄)2
7 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Estimación: Mı́nimos Cuadrados Ordinarios
• Siguiendo las propiedas del operador
∑
, de la primera ecuación se obtiene:
β̂0 = ȳ − β̂1x̄
Donde ȳ = n−1
∑n
i=1 yi es la media muestral de las yi y análogamente
x̄ = n−1
∑n
i=1 xi corresponde a la media muestral de las xi
• Trabajando en la segunda ecuación obtenemos:
n∑
i=1
xi(yi − (ȳ − β̂1x̄︸ ︷︷ ︸
β̂0
)− β̂1xi) = 0
Reordenando,
n∑
i=1
xi(yi−ȳ) = β̂1
n∑
i=1
xi(xi−x̄)↔ β̂1 =
∑n
i=1(xi − x̄)(yi − ȳ)∑n
i=1(xi − x̄)2
=
Cov(x, y)
V ar(x)
Donde,
1)
∑n
i=1 xi(yi − ȳ) =
∑n
i=1(xi − x̄)(yi − ȳ)
2)
∑n
i=1 xi(xi − x̄) =
∑n
i=1(xi − x̄)2
7 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal simple
Ejercicio
• Muestre que los estimadores MCO (β̂0, β̂1) efectivamente minimizan la suma
de los residuos al cuadrado
8 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal múltiple
Forma matricial
• Para cada observación i = 1, ..., n de la muestra se tiene la ecuación
yi = β0 + β1xi1 + β2xi2 + β3xi3 + . . .+ βkxik + ui
• Donde k denota el número de variables explicativas
• En forma matricial, el modelo de regresión lineal para el individuo i puede
escribirse como:
yi = x
>
i β + ui
Donde,
xi =

1
xi1
...
xik

((k+1)×1)
, β =

β0
β1
...
βk

((k+1)×1)
9 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal múltiple
Forma matricial
• Para una muestra de n observaciones, el modelo puede escribirse como
y = Xβ + u
Donde,
y =

y1
...
yn

(n×1)
, X =

x>1
...
x>n

(n×(k+1))
=

1 x11 · · · x1k
...
. . . · · ·
...
1 xn1 · · · xnk
 ,
u =

u1
...
un

(n×1)
, β =

β0
...
βk

((k+1)×1)
10 / 14
Trini Correa
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal múltiple
Estimación: Mı́nimos Cuadrados Ordinarios
• La suma de los residuos al cuadrado (SRC) es:
SRC(β̃) =
n∑
i=1
(yi − x>i β̃)2
=(y −Xβ̃)>(y −Xβ̃)
=(y> − β̃>X>)(y −Xβ̃) (∗)
=y>y − β̃>X>y − y>Xβ̃ + β̃>X>Xβ̃
=y>y − 2y>Xβ̃ + β̃>X>Xβ̃ (∗∗)
Donde β̃> = (β̃0 . . . β̃k) denota valores hipotéticos de β
——–
(∗) Nota: [(ab)> = b>a>] y [(a+ b)> = a> + b>]
(∗∗) Usando (β̃>X>y) = (β̃>X>y)> = (y>Xβ̃)
11 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal múltiple
Estimación: Mı́nimos Cuadrados Ordinarios
• Las condicionesde primer orden del problema de minimización de SRC(β̃)
vienen dadas por:
∂SRC(β̃)
∂β̃
∣∣
β̂
= 0
Esto es,
∂(y>y − 2y>Xβ̂ + β̂>X>Xβ̂)
∂β̂
= 0 (∗)
↔ 0− �2X>y + �2X>Xβ̂ = 0
↔ (X>X)β̂ = (X>y) (∗∗)
↔ β̂ = (X>X)−1(X>y)
——–
(∗) Nota: si a es un vector y A una matriz simétrica, entonces
∂a>β
∂β
= a y ∂β
>Aβ
∂β
= 2Aβ
(∗∗) Notar que (X>X) tiene dimensión (k + 1)× (k + 1) y β̂ es un vector de (k + 1)× 1
12 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
Modelo de regresión lineal múltiple
Ejercicio
• Muestre que (X>X) es invertible
13 / 14
Introducción Modelo de regresión lineal simple Modelo de regresión lineal múltiple Resumen
En la clase de hoy
• Derivamos el estimador MCO para el modelo de regresión lineal
• El estimador MCO minimiza la suma de los residuos al cuadrado
• En las proximas clases vamos a ver las propriedades de este estimador
14 / 14
	Introducción
	Modelo de regresión lineal simple
	Modelo de regresión lineal múltiple
	Resumen