Clase11 - Zaida Moreno Páez

Vista previa del material en texto

Econometría I- EAE250A:
Modelo Regesión Lineal Multiple
Burcu Eke
23/09/2014
Tabla de Contenidos
1. Modelo regresión lineal múltiple
2. Estimación por MCO
3. Propiedades de los estimadores MCO
2
Modelo Regresión Lineal Múltiple
I En la mayoría de las relaciones económicas⇒más de dos
variables
I El modelo simple y=β0 + β1xi1 + ε→ limitación
I Modelo múltiple:
y=β0 + β1xi1 + . . . + βkxik + εi (1)
I En la forma matricial: y
∼
= Xβ
∼
+ ε
∼
3
Modelo Regresión Lineal Múltiple
I Supuestos :
1. S1: Linealidad en los parámetros (β’s)
2. S2: Muestra Aleatoria
I Las n observaciones (yi, x1i, x2i, . . . , xk1) provienen de una
muestra aleatoria de población
3. S3: Condición de identificación
I Ausencia de multicolinealidad exacta permite la
identificación de los parámetros
I Sin embargo,se verá que una alta colinealidad dificulta la
identificación de los parámetros
4
Modelo Regresión Lineal Múltiple
4. S4: Ortogonalidad
E
[
ε
∼
|X
]
= 0
I ⇒ E[ ε
∼
] = 0
I ⇒ E
[
y
∼
|X
]
= Xβ
∼
I ⇒ C(xj, ε) = 0
5. S5: Homoscedasticidad
V
(
ε
∼
|X
)
= σ2I
La varianza de ε dado X es constante
6. (S6: Normalidad)
ε
∼
|X ∼ N
(
0, σ2I
)
⇒ y
∼
|X ∼ N
(
Xβ
∼
, σ2I
)
5
Estimación por Mínimos Cuadrados
Ordinarios (MCO)
I MCO es un estimador que minimiza la suma de los
cuadrados de los residuos.
I Para cada observación i de la muestra, se tiene la ecuación:
y=β0 + β1xi1 + . . . + βkxik + εi (2)
MCO encuentra los β’s que minimizan:
min
β̂
n
∑
i=1
ε2i ⇔ min
β̂
ε
∼
′ ε
∼
6
MCO (cont)
I ε
∼
′ ε
∼
:
ε
∼
′ ε
∼
=
(
y
∼
− Xβ
∼
)′ (
y
∼
− Xβ
∼
)
= y
∼
′y
∼
− β
∼
′X′y
∼︸ ︷︷ ︸
1×1
− y
∼
′Xβ
∼︸ ︷︷ ︸
1×1
+β
∼
′X′Xβ
∼
= y
∼
′y
∼
− 2β
∼
′X′y
∼
+ β
∼
′X′Xβ
∼
I Recuerda:
∂x
∼
′β
∼
∂β
∼
= x
∼
, &
∂β
∼
′Xβ
∼
∂β
∼
= 2Xβ
∼
7
MCO (cont)
I min
β̂
ε
∼
′ ε
∼
:
∂ ε
∼
′ ε
∼
∂β
∼
= −2X′y + 2X′Xβ
∼
0 = −2X′y + 2X′Xβ̂
∼
β̂
∼
=
(
X′X
)−1 X′y
∼
(supuesto 3)
I Las k + 1 ecuaciones X′y
∼
= X′Xβ̂
∼
⇒ ecuaciones normales
para MCO
I Condición de segundo grado:
∂2 ε
∼
′ ε
∼
∂β
∼
∂β
∼
= 2X′X > 0
8
MCO (cont)
I modelo “bascio”: y = β0 + β1x1 + β2x2ε, sea n = 5
I MCO: β̂
∼
= (X′X)−1 X′y
∼
X′X =
 1 1 1 1 1x11 x12 x13 x14 x15
x21 x22 x23 x24 x25
 .

1 x11 x21
1 x12 x22
1 x13 x23
1 x14 x24
1 x15 x25
 =
 5 ∑ x1i ∑ x2i∑ x1i ∑ x21i ∑ x1ix2i
∑ x2i ∑ x1ix2i ∑ x22i

9
Varianza del estimador MCO (cont.)
I Bajos los supuestos 1 a 5, en un modelo con intercept:
var
(
β̂j|X
)
=
σ2
SSTj(1− R2j )
∀j = 1, . . . , k
SSTj =
n
∑
i=1
(
xij − x̄j
)2
R2j es el R
2 de xj en
(
x1, . . . , xj−1, xj+1, . . . , xk
)
I En forma matricial: Var
(
β̂
∼
|X
)
= σ2 (X′X)−1
10
Estimador MCO de la varianza del error
(cont.)
I Dado el estimador MCO de σ2
σ̂2 =
n
∑
i=1
ε̂2i
n− k− 1
Var(β̂
∼
|X) = σ2 (X′X)−1
V̂ar(β̂
∼
|X) = σ̂2 (X′X)−1
11
Propiedades del estimador MCO
1. Ortogonalidad
Ecuaciones normales:
X′Xβ̂
∼
= X′y
∼
⇒ X′ ε̂
∼
= 0
Si el modelo tiene intercepto, los errores estimados suman
cero y son ortogonales a los regresores.
2. Linealidad
β̂
∼
son lineales en las observaciones de y
12
Propiedades del estimador MCO (cont.)
3. Insesgadez: Bajos los supuestos 1 a 4, E[β̂j] = βj
Si disponemos de un número infinito de muestras de
tamaño n de la misma población y estimamos el mismo
modelo con cada una de las muestras la media de la
distribución de dichos valores estimados de βj, coincidirá
con el parámetro poblacional βj.
4. Eficiencia
Teorema de Gauss-Markov: Bajo los supuestos 1 a 5, el
estimador de MCO de β
∼
es de menor varianza entre los
estimadores lineales insesgados de β
∼
13
Propiedades del estimador MCO (cont.)
5. Consistencia
plim
(
β̂
∼
)
= β
∼
o lim
n→∞
P
(
|β̂
∼
− β
∼
| < ε
)
= 1 ∀ ε > 0
Una condición suficiente para la consistencia es que el
estimador debe ser insesgado y que su varianza,
V̂ar(Wn)→ 0 cuando n→ ∞
Sin embargo, la condición sólo es suficiente, no es
necesario. Es posible que un estimador puede ser sesgado,
pero el sesgo desaparece cuando n→ ∞
14
Propiedades del estimador MCO (cont.)
6. Normalidad asintótica
Normalidad asintótica del estimador MCO:
√
n
(
β̂
∼
− β
∼
)
a→ N
(
0, σ2Q−1
)
Las propiedades asintóticas del estimador de MCO
permiten realizar los test t y F y construir los intervalos de
confianza de la misma forma como se haría bajo el
supuesto de normalidad.
15
Bondad de Ajuste
I R2 se define:
R2 =
SSE
SST
= 1− SSR
SST
I R2 es válido como medida de la fracción de la varianza
explicada cuando hay constante en la regresión.
I 0 ≥ R2 ≥ 1
I Si existe independencia entre x e y, entonces R2 = 0. Sin
embargo, R2 = 0 no implica independencia.
I Como es una medida de asociación lineal, no tiene sentido
utilizarlo para describir relaciones no lineales.
I R2 = ρ2, donde ρ es la correlación entre x e y a nivel
poblacional
16
Bondad de Ajuste (cont.)
I El R2 puede ser útil para comparar distintos modelos para
la misma variable dependiente y.
I El R2 aumenta siempre de valor al aumentar de número de
regresores, sean éstos relevantes o no
I Para eliminar este problema, se define el R̄2, también
llamado R2 ajustado
R̄2 = 1−
[
(1− R2) n− 1
n− k− 1
]
I En cualquier caso, para tamaños muestrales grandes
R2 ' R̄2
17