Logo Studenta

Apuntes 13

Vista previa del material en texto

Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 1/10
 
SECCIÓN 13: ESTIMACIÓN MÁXIMO 
VEROSIMILITUD DE β Y 2σ 
En secciones anteriores desarrollamos, basados en un 
criterio “razonable” de minimización de distancias, el 
estimador de MCO. Demostramos que dicho estimador 
tiene una propiedad fundamental: es insesgado. Ade-
más, descubrimos que MCO es el mejor estimador 
lineal e insesgado de β (i.e., es el de menor varianza). 
Finalmente, propusimos un estimador insesgado de la 
varianza de los errores. Ese estimador es insesgado, 
pero no sabemos si su varianza es mínima. 
En esta sección estimaremos conjuntamente β y 2σ 
mediante el método de máxima verosimilitud. 
Pero antes, un repaso. 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 2/10
 
Máxima verosimilitud, un repaso 
La función de máxima verosimilitud se define como la 
función de densidad conjunta de la muestra: 
1 1L( ) ( , , , ; )Nf x x x=θ θ… , 
donde θ es un vector de parámetros. Maximizando 
L( )θ con respecto a θ obtenemos los estimadores de 
máxima verosimilitud. ¿Qué intuición hay detrás de 
esta forma de estimar θ? 
Los estimadores de máxima verosimilitud tienen 
propiedades asintóticas muy convenientes. Sea ˆ MLEθ el 
estimador máximo verosímil de θ: 
1. Consistencia: ˆplim MLE =θ θ . 
Recordemos que ˆplim nx x= si y sólo si, 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 3/10
 
ˆlim Pr(| | ) 1
n
x x ε
→∞
− < = , 
con ε real positivo arbitrariamente pequeño. 
2. Normalidad asintótica: 1ˆ N[ , ( ) ]dMLE
−⎯⎯→θ θ I θ , 
donde 
2 ln[ ( )]( ) E
'
L⎡ ⎤∂
= − ⎢ ⎥∂ ∂⎣ ⎦
θI θ
θ θ
. 
Con x
d
nx Fˆ ⎯→⎯ si y sólo si ˆlim F ( ) F ( ) 0nx xn z z→∞ − = 
en todos los puntos en que F ( )x ⋅ es continua. 
3. Eficiencia asintótica: ˆ MLEθ es eficiente, esto es, 
alcanza la cota de Cramer-Rao. 
4. Invarianza: Si ( )g ⋅ es una función continua, el 
estimador máximo verosimil de ( )g θ es ˆ( )MLEg θ . 
Algo muy importante sobre la cota de Cramer-Rao: 
ningún estimador insesgado puede tener una varianza 
menor que la del estimador máximo verosímil. 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 4/10
 
Ahora estimemos β y 2σ por máxima verosimilitud. 
Lo que tenemos que hacer es maximizar la densidad 
conjunta de las N observaciones de y o, lo que es lo 
mismo, la densidad del vector aleatorio y. 
La función de densidad de un vector z normal 
multivariado con media µ y varianza Σ es 
1
/ 2 1/ 2
1 1( ; , ) exp ( ) ( ) .
2(2 ) | |N
f
π
−⎛ ⎞′= − − −⎜ ⎟
⎝ ⎠
z µ Σ z µ Σ z µ
Σ
 
Como 2| ~N( , )σε X 0 I e = +y Xβ ε , se tiene que 
2| ~N( , )Nσy X Xβ I . 
Por lo tanto, la función de densidad de y está dada por 
la siguiente expresión. 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 5/10
 
1 2 1
2
/ 2 2 1/ 2
2
/ 2 2 N/2
exp[ 2 ( ) ( ) ( )]( ; , , )
(2 ) | |
2exp
2 .
(2 ) ( )
N
N
f σσ
π σ
σ
π σ
− −′− − −
=
′ ′ ′ ′− +⎛ ⎞−⎜ ⎟
⎝ ⎠=
y Xβ I y Xβy X β I
I
y y y Xβ β X Xβ 
En lugar de maximizar directamente 2( ; , , )f σy X β I , 
maximizaremos la función de log-verosimilitud (¿por 
qué es legal hacer eso?). 
2 2
2
2
( ; , , ) ln[ ( ; , , )]
ln(2 ) ln( )
2 2
1 ( 2 )
2
f
N N
σ σ
π σ
σ
=
= − −
′ ′ ′ ′− − +
y X β y X β I
y y y Xβ β X Xβ
L
 
La condición de primer orden con respecto a β es: 
2
1 ˆ( 2 2 )ˆ ˆ2σ
∂ ′ ′= − − + =
∂
X y X Xβ 0
β
L 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 6/10
 
Dicha condición se reduce a: 
ˆ.′ ′=X y X Xβ 
Esto es, a nuestra conocida ecuación normal, cuya 
solución es el estimador de mínimos cuadrados: 
1ˆ ( )−′ ′=β X X X y 
En conclusión, si se cumplen los supuestos clásicos, el 
estimador MCO es máximo verosímil, por lo que 
cumple las cuatro propiedades asintóticas de ese tipo 
de estimadores. Por además, como es insesgado, y 
ahora sabemos que alcanza la cota de Cramer-Rao, es 
el es el estimador insesgado de menor varianza (lineal 
o no lineal). Por eso decimos que es BUE (Best 
unbiased estimator). 
Veamos ahora la CPO con respecto a 2σ . 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 7/10
 
2 2 2 2
1 ˆ ˆ 0
ˆ ˆ ˆ2 2( )
N
σ σ σ
∂ ′= − + =
∂
ε εL 
De manera que el estimador máximo verosímil de 2σ 
es 
2 ˆ ˆˆ
N
σ
′
=
ε ε 
¿Es este estimador insesgado? 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 8/10
 
Varianza de los estimadores máximo verosímiles 
Recordemos que la varianza asintótica de un estimador 
máximo verosímil θ está dada por la siguiente 
expresión: 
12
1 ln[ ( )]( ) E ,
'
L
−
− ⎡ ⎤∂= − ⎢ ⎥∂ ∂⎣ ⎦
θI θ
θ θ
 
evaluada en los verdaderos valores de los parámetros. 
En nuestro caso, 2[ ]σ′=θ β . 
Antes habíamos calculado lo siguiente: 
2
1 ( 2 2 ),
2σ
∂ ′ ′= − − +
∂
X y X Xβ
β
L 
2 2 2 2 2 2 2
( ) ( )
2 2( ) 2 2( )
N N
σ σ σ σ σ
′ ′∂ − −
= − + = − +
∂
y Xβ y Xβ ε εL 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 9/10
 
Entonces, 
2
2 ,σ
′∂
= −
′∂ ∂
X X
β β
L 
2
2 2 2 2 2( ) ( )σ σ σ
′ ′ ′∂ − + −
= =
∂ ∂
X y X Xβ X ε
β
L , 
2
2 2 2 2 2 32( ) ( )
N
σ σ σ σ
′∂
= −
∂ ∂
ε εL 
Por lo tanto, 
12
2
1 2
I( , | )
2
K
K
N
σσ
σ
×
×
′⎡ ⎤
⎢ ⎥
= ⎢ ⎥
⎢ ⎥
⎢ ⎥⎣ ⎦
X X 0
β X
0
 
Apuntes de Econometría. 1er Semestre de 2006. Ricardo Guzmán 10/10
 
En suma, los estimadores máximo verosímiles de β y 
2σ son: 
1ˆ ( ) ,−′ ′=β X X X y 
2 ˆ ˆˆ
N
σ
′
=
ε ε 
Y su distribución asintótica es normal con media en 
los verdaderos valores de los parámetros y varianza 
dada por: 
2 1
1
2 1 2
1
( )
I( , | ) 2
K
K N
σ
σ σ
−
×
−
×
′⎡ ⎤
⎢ ⎥= ⎢ ⎥
⎢ ⎥⎣ ⎦
X X 0
β X
0

Otros materiales