Ayudantia4_2005_2

Vista previa del material en texto

Pontificia Universidad Católica de Chile
Instituto de Economía
Primer Semestre de 2005
Econometría de Datos de Panel y Corte Transversal
Teoría Econométrica II
Ayudantía 4: MLE
1. Una variable aleatoriaX tiene una distribución exponencial con parámetro
β > 0 si su densidad es
f (X,β) =
½
βe−βX si x > 0
0 si x ≤ 0
implicando una acumulada
F (X,β) =
½
1− βe−βX si x > 0
0 si x ≤ 0
La esperanza y la varianza de esta distribución son E [X] = 1β y V [X] =
1
β2
.
a) Suponga que x1, . . . , xn forman una muestra aleatoria de una distribu-
ción exponencial con el parámetro β > 0. Encuentre el parámetro
β.
b) Usando la propiedad de invarianza de MLE, encuentre los MLE de 1β
y 1
β2
.
Solución
a) La función de verosimilitud es
L (x, β) = Π
i
f (x, β) = Π
i
βe−βxi = βne−β
P
i xi
y la log-verosimilitud
£ (x, β) = lnΠ
i
f (x, β) = n lnβ − β
X
i
xi
Hay que resolver
max
β
£ (x, β)
CPO
n
β
−
X
i
xi = 0
bβML = nP
i xi
=
1
x
1
b) Por la propiedad de invarianza
dµ 1
β
¶
ML
=
Ã
1bβML
!
= x
\µ 1
β2
¶
ML
=
Ã
1bβ2ML
!
= x2
2. Suponga que x1, . . . , xn forman una muestra aleatoria de una distribución
uniforme en el intervalo [θ1, θ2] , con 0 < θ1 < θ2 <∞.
a) Encuentre los MLE de θ1 y θ2, bθ1 y bθ2.
b) Son consistentes?
c) Muestre que los MLE no son asintóticamente normales. Por qué se
rompe la prueba de la normalidad asintótica? [Hint: considere la vari-
able n
³
θ2 − bθ2´ . Derive su c.d.f y use el resultado lim
n→∞
¡
1 + xn
¢n
=
ex]
Solución
a) La función de densidad es
f (xi, θ1, θ2) =
½
1
θ2−θ1 si xi ∈ [θ1, θ2]
0 si no
y la función de verosimilitud
L (x, θ1, θ2) = Π
i
f (x, θ1, θ2) = Π
i
1 [xi ∈ [θ1, θ2]] 1
θ2 − θ1
no es continuamente difirenciable en θ1, θ2 (las funciones indicadoras
rompen la continuidad)1 .Para maximizar L (·) tenemos que pensar en
tres cosas: i) si observamos xi es porque pertenece a la distribución
(entonces tiene que ser parte del soporte); ii) en cuanto más obser-
vaciones estén en el intervalo, más veces se "prende" la función indi-
cadora y más alta es L (·) y iii) mientras mas chico es (θ2 − θ1) , más
grande es L (·) . Más formalmente, de i) y ii) bθ1 ≤ min {X1, . . . ,Xn}
y bθ2 ≤ max {X1, . . . ,Xn} y por iii) bθ1 = min {X1, . . . ,Xn} y bθ2 =
max {X1, . . . ,Xn} . Es decir," bθ1bθ2
#
=
·
min {X1, . . . ,Xn}
max {X1, . . . ,Xn}
¸
1Una diferencia importante con el primer ejercicio es que en él el soporte de la distribución
esta fijo, i.e. (0,∞) .En este caso, en cambio, el ejercicio es precisamente fijar el soporte de la
distribución,
hbθ1,bθ2i . Es por esto que ahora hacemos explícito en la función de verosimilitud
el hecho de que hay densidad no nula para una observación sólo si está contenida en el soporte.
2
c) Los parámetros estimados son consistentes si bθ1 p−→ θ1. Esto es
lim
n→∞P
³¯̄̄bθn1 − θ1 ¯̄̄ < ´ = 1
Como bθ1 = min {X1, . . . ,Xn} , sabemos que bθn1 − θ1 ≥ 0. Entonces
tenemos
lim
n→∞P
³¯̄̄bθn1 − θ1 ¯̄̄ < ´ = 1
lim
n→∞P
³bθn1 < + θ1´ = 1
De la definición de distribución uniforme sabemos que
P
³bθn1 < k´ = 1−µ θ2 − kθ2 − θ1
¶n
Luego
lim
n→∞P
³bθn1 < + θ1´ = limn→∞1−
µ
θ2 − ( + θ1)
θ2 − θ1
¶n
= 1− lim
n→∞1−
µ
1−
θ2 − θ1
¶n
= 1
O sea, bθ1 p−→ θ1. De una manera análoga se muestra que bθ2 p−→ θ2.
c) :Usamos la variable2 n
³
θ2 − bθ2´
P
³
n
³
θ2 − bθ2´ ≤ k´ = P µθ2 − bθ2 ≤ k
n
¶
= P
µ
θ2 − k
n
≤ bθ2¶
= 1− P
µ
θ2 − k
n
> bθ2¶
= 1−
Ã
θ2 − kn − θ1
θ2 − θ1
!n
= 1−
Ã
1−
k
n
θ2 − θ1
!n
= 1−
Ã
1−
k
θ2−θ1
n
!n
en el límite
lim
n→∞1−
Ã
1−
k
θ2−θ1
n
!n
= 1− e kθ2−θ1
2Queremos empezar a pensar en términos de algún TCL.
3
O sea, los estimados distribuyen asintóticamente exponencial3.
3. Suponga que X1, . . . ,Xn son variables aleatorias iid Bernoulli con
Xi =
½
1 con probabilidad θ
0 con probabilidad 1− θ
a) Encuentre el MLE de θ y su distribución asintótica.
b) Cómo testearía la hipótesis H0 : θ = 0.4 usando los tests LR, Wald y
LM?
c) Cómo testearía la hipótesis H0 : θ2 = 0.5?
Solución
a) La densidad Bernoulli es
f (Xi) = θ
Xi (1− θ)(1−Xi)
La función de verosimilitud es
L (X, θ) = Π
i
f (X, ) = θ
P
iXi (1− θ)
P
i(1−Xi)
La log verosimilitud es
£ (x, θ) =
X
i
Xi ln θ +
Ã
n−
X
i
Xi
!
ln (1− θ)
La CPO P
iXi
θ
+
(n−PiXi)
(1− θ) = 0
bθML = PiXi
n
= X
La distribución asintótica es
√
n
³bθML − θ´ −→ N ¡0, I−1¢
3El TCL de Lindberg Levi necesita independencia de las observaciones y esperanza finita
para asegurar
√
n (xn − µ) d−→ N
¡
0, σ2
¢
.
Newey & McFadden usan una aproximación de Taylor del score vector de $ para demostrar
la suficiencia. Esta aproximación se iguala a 0: ∂$
∂θ
¯̄̄
θ=θ0
+ ∂
2$
∂θ2
¯̄̄
θ=θ0
³bθ − θ0´ = 0, tal que
√
n
³bθ − θ0´ = · ∂2$∂θ2 ¯̄̄θ=θ0
¸−1√
n
·
∂$
∂θ
¯̄̄
θ=θ0
¸
. El último término de la derecha converge a
una normal como indica el TCL de LL ( ∂$
∂θ
es un promedio de score vectors, de esperanza 0)
y el primer término ajusta por la varianza. Si la segunda derivada de la función es cero, su
inversa no existe. Es acá donde se rompe la prueba de normalidad asintótica.
4
donde I−1 es la inversa de la matriz de información (en este caso un
escalar). La matriz de información está dada por
I = E
·
− 1
n
∂2£
∂θ2
¸
En este caso
∂2£
∂θ2
= −
P
iXi
θ2
+
(n−PiXi)
(1− θ)2
con lo que
I = E
"
− 1
n
Ã
−
P
iXi
θ2
+
(n−PiXi)
(1− θ)2
!#
= E
"P
iXi
n
1
θ2
+
(n−PiXi)
n
1
(1− θ)2
#
=
1
θ (1− θ)
Entonces √
n
³bθML − θ´ −→ N (0, θ (1− θ))
b) 4El test LR: si la restricción es verdadera, no debería cambiar significa-
tivamente el valor de la función de verosimilitud. Como conocemos
el estimador restringido, sólo hay que estimar el modelo libre5. El
estadístico es6
LR = 2
h
£
³
θ = bθML´−£ (θ = 0.4)i ∼ χ2[J]
El test de Wald: ´si la restricción es válida, el estadístico de discrep-
ancia m debería tomar un valor cercano a 0. Sólo hay que estimar el
modelo libre. El estadístico de discrepancia es
m =
³
Rbθ − q´ = bθ − 0.4
y su varianza
V [m] = V
h
Rbθ − qi = hRV ar ³bθ´ Ŕi
Con esto, el estadístico testeable (una suma de variables normales
-cada restricción, una en este caso- estandarizadas por su varianza)
es
W =
ḿm
V [m]
=
³
Rbθ − q ´́hRV ar ³bθ´ Ŕi−1 ³Rbθ − q´ ∼ χ2[J]
4Les recomiendo Greene (versión en castellano) p.142 para un buen resúmen de estos tests
y sus aplicaciones.
5En general hay que estimar el modelo restringido cuando la (s) restricción (s) no deter-
minan a todos los parámetros del modelos restringido, como en este caso.
6Uso J como el número de restricciones. En este caso J = 1.
5
W =
n
³bθ − 0.4´2bθ ³1− bθ´
El test LM: el valor del multiplicador asociado a la restricción debería
ser cercano a 0 si la restricción es verdadera. Sólo se necesita el valor
restringido de los parámetros. El estadístico es
LR =
µ
∂£
∂θ
¶
[́I (θ)]−1
µ
∂£
∂θ
¶¯̄̄̄
θ=0.4
∼ χ2[J]
c) Usaría el método delta para conocer la distribución asintótica de g (θ) =
θ2 (lo que nos interesa es la varianza asintótica). Luego ocuparía
cualquiera de los tests anteriores.
4. Suponga que {(Y1,X1) , (Y2,X2) . . . , (Yn,Xn)} es una muestra aleatoria
de n observaciones donde Xi es un escalar aleatorio y Yi es una variable
aleatoria Bernoulli que toma sólo dos valores, 0 o1, con probabilidades
P (Yi = 1 |Xi ) = exp (θ1 + θ2Xi)
1 + exp (θ1 + θ2Xi)
P (Yi = 0 |Xi ) = 1
1 + exp (θ1 + θ2Xi)
Este modelo es conocido como el modelo logit de respuesta binaria.
a) Encuentre la función de expectativa condicional de Yi dadoX = (X1, . . . ,Xn) .
b) Escriba la función log-verosimilitud para este modelo.
Solución
a) La esperanza de Yi es
E [Yi |X ] = E [Y |Yi = 1] · P (Yi = 1 |X ) +E [Y |Yi = 0] · P (Yi = 0 |X )
= 1 · P (Yi = 1 |X ) + 0 · P (Yi = 0 |X )
= P (Yi = 1 |X )
=
exp (θ1 + θ2Xi)
1 + exp (θ1 + θ2Xi)
Buscamos el límite de probabilidad
p lim
n→∞
exp (θ1 + θ2Xi)
1 + exp (θ1 + θ2Xi)
y por el teorema de Slutzky (e es continua)
exp
µ
θ1 + θ2p lim
n→∞
Xi
¶
1 + exp
µ
θ1 + θ2p lim
n→∞
Xi
¶ = exp ¡θ1 + θ2X¢
1 + exp
¡
θ1 + θ2X
¢
6
b) La función de verosimilitud es
L (Y,X, θ) = Π
i
µ
exp (θ1 + θ2Xi)
1 + exp (θ1 + θ2Xi)
¶Yiµ 1
1 + exp (θ1 + θ2Xi)
¶1−Yi
=
µ
exp (θ1 + θ2Xi)
1 + exp (θ1 + θ2Xi)
¶P
i Yi
µ
1
1 + exp (θ1 + θ2Xi)
¶P
i(1−Yi)
=
exp
¡
(θ1+θ2Xi)
P
i Yi
¢
[1 + exp (θ1 + θ2Xi)]
n
=
exp (θ1
P
i Yi + θ2
P
i YiXi)
[1 + exp (θ1 + θ2Xi)]
n
La log-verosimilitud
lnL (Y,X, θ) = θ1
X
i
Yi + θ2
X
i
YiXi − n ln [1 + exp (θ1 + θ2Xi)]
7