Clase 4

Vista previa del material en texto

Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Clase 4
Econometŕıa I
Tomás Rau
18 de Marzo
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Contenidos
1 Análisis de Regresión Lineal
Función de regresión poblacional (FRP)
Especificación estocástica de la función de regresión poblacional
Función de regresión muestral
Propiedades de un Estimador
2 Modelo de regresión con dos variables
Método de Mı́nimos Cuadrados Ordinarios
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
El modelo de regresión lineal (dos variables)
La regresión es un elemento fundamental en la Econometŕıa,
corresponde a un estudio de dependencia entre una variable
dependiente y una o más variables explicativas. El análisis de
regresión tiene como objeto estimar y/o predecir el promedio
poblacional de la variable dependiente para valores fijos de la(s)
variable(s) explicativa(s).
Regresión lineal:
Yi = β0 + β1Xi + ui
La variable Yi es la variable dependiente y es una variable
aleatoria. La variable Xi es la variable independiente y la
asumimos determińıstica (por el momento) y ui resume los
otros factores que pueden afectar a Yi y también es aleatoria.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
El modelo de regresión lineal (dos variables)
Yi = β0 + β1Xi + ui
La primera parte de la ecuación: β0 + β1Xi es la ĺınea o recta
de regresión poblacional (RRP) y es la relación que se cumple
en promedio para una población.
Definición: La recta de regresión poblacional es simplemente
el lugar geométrico de las medias condicionales de la variable
dependiente para los valores fijos de la(s) variable(s)
explicativa(s).
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
El modelo de regresión lineal
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
El modelo de regresión lineal (dos variables)
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión poblacional
De lo anterior es claro que la media condicional E (Y |Xi ) es
función de Xi , donde Xi es un valor dado de X:
E (Y |Xi) = f (Xi ) (1)
donde f(·) es una función cualquiera, en el ejemplo anterior era
una función lineal. La ecuación (1) se denomina Regresión
Poblacional.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión poblacional
Que forma tiene f(·) es una pregunta emṕırica, aunque muchas
veces la teoŕıa nos puede ayudar bastante.
Supongamos que el puntaje en el Simce está relacionado
linealmente con el tamaño del curso, aśı podemos suponer que
la función de regresión poblacional E (Y |Xi) es una función
lineal de Xi , es decir:
E (Y |Xi) = β1 + β2Xi (2)
donde β1 y β2 se denominan coeficientes de regresión. Aśı el
objetivo es estimar β1 y β2 a partir de datos de X e Y.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Especificación estocástica de la FRP
En el ejemplo anterior véıamos que a medida que se incrementa
la variable explicativa (tamaño de curso), el valor promedio de
la variable dependiente (puntaje Simce) disminúıa.
Sin embargo, este patrón se da sólo a nivel de promedios. A
nivel individual esto no es necesariamente cierto.
Existe una dispersión de los valores individuales de Yi en torno
al promedio condicional de esta variable. De esta forma,
podemos definir:
ui = Yi − E (Y |Xi )
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Especificación estocástica de la FRP
Yi = E (Y |Xi ) + ui (3)
donde ui es una variable aleatoria no observable que toma
valores positivos o negativos. Este término surge pues no se
puede esperar que todas las observaciones Yi sean igual al
promedio condicional a Xi .
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Especificación estocástica de la FRP
Tomando el valor esperado condicional en Xi a la ecuación (3)
E (Yi |Xi ) = E [E (Y |Xi )|Xi ] + E (ui |Xi)
= E (Y |Xi) + E (ui |Xi) (4)
Debido a que E (Yi |Xi) = E (Y |Xi ), implica que:
E (ui |Xi ) = 0 (5)
Aśı, el supuesto de que la recta de regresión pasa a través de
las medias condicionales de Y, implica que la media condicional
de ui es cero.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
En la mayoŕıa de los fenómenos económicos a estudiar, no
disponemos de las observaciones totales de la población, como
hemos supuesto hasta ahora.
En la práctica se tiene alcance nada más que a una muestra de
los valores de Y que corresponden a unos valores fijos de X. En
este caso tenemos que estimar la función de regresión
poblacional en base a información muestral.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Funciónde
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
Como contraparte muestral la función de regresión muestral
puede escribirse como:
Ŷi = β̂1 + β̂2Xi (6)
donde Ŷi es el estimador de E (Y |Xi), β̂1 es el estimador de β1
y β̂2 es el estimador de β2.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
Por ejemplo, suponga que tenemos 2 muestras de una misma
población
Tabla 1. Muestra aleatoria
de la población en tabla 2.
Y X
70 80
65 100
90 120
95 140
110 160
115 180
120 200
140 220
155 240
150 260
Tabla 2. Muestra aleatoria
de la población en tabla 2.
Y X
55 80
88 100
90 120
80 140
118 160
120 180
145 200
135 220
145 240
175 260
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
De igual manera que para el caso poblacional la función de
regresión muestral también tiene una representación estocástica
(ecuación muestral):
Yi = β̂1 + β̂2Xi + ûi (7)
Entonces, el objetivo del Análisis de Regresión es estimar la
Función de regresión poblacional :
E (Yi |Xi ) = β1 + β2Xi (8)
con base en la Función de regresión muestral:
Ŷi = β̂1 + β̂2Xi (9)
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Función de regresión muestral
En la figura 5 podemos notar que para todo Xi a la derecha del
punto A, Ŷi sobreestima E (Y |Xi). De igual manera, para
cualquier punto a la izquierda de A, Ŷi subestima E (Y |Xi).
Esta sobreestimación y subestimación del modelo poblacional
es inevitable debido a las fluctuaciones muestrales.
¿Cómo se puede construir la función de regresión
muestral para β̂1 y β̂2 que esté lo más cerca de los valores
verdaderos (poblacionales) de β1 y β2?
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Propiedades de un Estimador
Un estimador, siendo función de la muestra, es una variable
aleatoria y tiene su propia distribución de probabilidad.
Como vimos, las propiedades de los estimadores son las
siguientes:
1) Se denomina sesgo a la diferencia entre el valor esperado
del estimador y su verdadero valor: E (β̂)− β. De esta
forma, se dice que β̂ es un estimador insesgado si
E (β̂) = β.
2) El estimador es eficiente o de ḿınima varianza si no hay
ningún otro estimador insesgado que tenga una varianza
menor que β̂. En general se trata de utilizar estimadores
de varianza pequeña, pues de este modo la estimación es
más precisa.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Propiedades de un Estimador
3) La última propiedad de un estimador es la consistencia. El
estimador β̂ es consistente si converge en probabilidad (en
el limite) al verdadero valor del parámetro β̂
p
−→β.
Formalmente, el ĺımite de la probabilidad se define como
∀ε > 0, ĺım
n→∞
Pr [|β̂ − β| < ε] = 1
Esto se denota plim β̂ = β . Dos reglas útiles al respecto son:
plim
(
X
Y
)
= plimX
plimY
plim (X · Y )=plimX · plimY
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Propiedades de un Estimador
El Error Cuadrático Medio (ECM) es una caracteŕıstica de los
estimadores que mezcla los conceptos de eficiencia e
insesgamiento. El ECM de β̂ se define como:
ECM(β̂) = E [(β̂ − β)2]
Lo que se puede expresar equivalentemente de la siguiente
manera:
ECM(β̂) = Var(β̂) + [Sesgo(β̂)]2
En la próxima sección veremos como estimar β0 y β1.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
En términos de la función de regresión muestral, la Yi
observada puede ser expresada como:
Yi = Ŷi + ûi (10)
lo cual nos permite expresar el error muestral
ûi = Yi − Ŷi
= Yi − β̂1 − β̂2Xi (11)
es decir, los residuos son simplemente la diferencia entre los
valores verdaderos y estimados de Y.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
La intuición puede decirnos que debemos minimizar, de alguna
manera, los errores, pero ¿cómo?
ḿınβ1,β2
∑
ûi =
∑
(Yi − β̂1 − β̂2Xi) Esta alternativa no es
plausible por diversos motivos a explicar.
ḿınβ1,β2
∑
|ûi | =
∑
|Yi − β̂1 − β̂2Xi | Esta alternativa
(Least Absolute Deviation) no pudo ser desarrollada en
aquella época.
ḿınβ1,β2
∑
û2i =
∑
(Yi − β̂1 − β̂2Xi)
2 Esto es lo que hizo
Gauss en 1809 o por ah́ı.
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
n
∑
i=1
û2i =
n
∑
i=1
(Yi − Ŷi )
2
=
n
∑
i=1
(Yi − β̂1 − β̂2Xi)2 (12)
El Método de Mı́nimos Cuadrados Ordinarios (MCO)
escoge β̂1 y β̂2 de forma tal que para una muestra dada,
∑
û2i
sea lo más pequeño posible.
Entonces el problema que este método propone resolver es el
siguiente:
ḿın
β̂1,β̂2
∑
(Yi − β̂1 − β̂2Xi)
2 (13)
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
las condiciones de primer orden de este problema son:
∂
∑
û2i
∂β̂1
= −2
∑
(Yi − β̂1 − β̂2Xi) = −2
∑
ûi = 0
∂
∑
û2i
∂β̂2
= −2
∑
(Yi − β̂1 − β̂2Xi)Xi = −2
∑
ûiXi = 0
Simplificando obtenemos las ecuaciones normales:
∑
Yi = nβ̂1 + β̂2
∑
Xi (14)
∑
YiXi = β̂1
∑
Xi + β̂2
∑
X 2i (15)
Clase 4
Econometŕıa I
Tomás Rau
Análisis de
Regresión
Lineal
Función de
regresión
poblacional
(FRP)
Especificación
estocástica de la
función de
regresión
poblacional
Función de
regresión
muestral
Propiedades de
un Estimador
Modelo de
regresión con
dos variables
Método de
Ḿınimos
Cuadrados
Ordinarios
Mı́nimos Cuadrados Ordinarios
Debemos resolver un sistema con dos ecuaciones y dos
incógnitas. De la primera ecuación normal podemos despejar
β̂1:
β̂1 =
∑
Yi − β̂2
∑
Xi
n
= Ȳ − β̂2X̄ (16)
reemplazando β̂1 en la segunda ecuación normal
∑
YiXi =
(
∑
Yi − β̂2
∑
Xi
n
)
·
∑
Xi + β̂2
∑
X 2i (17)
De esta forma, el estimador de β2 es:
β̂2 =
∑
YiXi − Ȳ
∑
Xi
∑
X 2i − X̄
∑
Xi
=
∑
YiXi − n · X̄ Ȳ
∑
X 2i − n · (X̄ )
2
(18)
	Análisis de Regresión Lineal
	Función de regresión poblacional (FRP)
	Especificación estocástica de la función de regresión poblacional
	Función de regresión muestral
	Propiedades de un Estimador
	Modelo de regresión con dos variables
	Método de Mínimos Cuadrados Ordinarios