Modelos de Series de Tiempo

Vista previa del material en texto

Modelos de Series de Tiempo
Luis Frank
Facultad de Agronoḿıa
Universidad de Buenos Aires
Mayo, 2022
Definición de modelos AR, MA y ARMA.
Modelos AR(p). Estimación de parámetros.
Modelos MA(q). Estimación de parámetros.
Modelos ARMA(p,q). Estimación de parámetros.
Estimación de la varianza del error σ2
Prueba de Dickey-Fuller de estacionariedad
Funciones de autocorrelación y autocorrelación parcial
Anexo I: Filtración Adpatada
Modelos ARMA(p,q). Estimación de parámetros.
Definiciones
Supongamos que yt es una serie de tiempo estacionaria (distribción
de probabilidad se mantiene constante) y centrada en 0. Se han
propuesto diversos modelos para representar este tipo de series:
▶ Modelo autorregresivo de orden p o AR(p)
yt = ϕ1 yt−1 + ϕ2 yt−2 + · · ·+ ϕp yt−p + ϵt , ϵt ∼ N(0, σ2).
▶ Modelo de media móvil de orden q o MA(q)
yt = ϵt − θ1ϵt−1 − θ2ϵt−2 − · · · − θqϵt−q, ϵt ∼ N(0, σ2).
▶ Modelo autorregresivo de media móvil o ARMA(p,q)
yt =
p∑
j=1
ϕjyt−j + ϵt −
q∑
j=1
θjϵt−j , ϵt ∼ N(0, σ2), |ϕj |, |θj | < 1.
Definiciones (cont.)
▶ Si yt no fuera una variable estacionaria, la serie puede
diferenciarse hasta alcanzar estacionariedad.
▶ Este tipo de modelos se denominan modelos autorregresivos
integrados de media móvil o ARIMA(p,d ,q), donde d es el
orden de diferenciación.
∆dyt =
p∑
j=1
ϕj∆
dyt−j + ϵt −
q∑
j=1
θjϵt−j
donde ∆yt = yt − yt−1, ∆2yt = (yt − yt−1)− (yt−1 − yt−2),
etc.
▶ La extensión a procesos estacionales conduce a los modelos
SARIMA(p, d ,q)×(P,D,Q)m donde P, D y Q son parámetros
análagos a p, d y q pero rezagados m peŕıodos.
Estimación de parámetros: modelos AR(p)
La estimación de parámetros del modelo autorrgresivo AR(p)
puede realizarse de diversas maneras:
▶ Por OLS o ML emulando una regresión múltiple ordinaria, ya
que en definitiva el modelo es lineal en los parámetros,
ϕ̂ =
[
Y′(p)Y(p)
]−1
Y′(p)y
▶ A través de las ecuaciones de Yule-Walker, como veremos a
continuación.
▶ Por métodos iterativos como Gauss-Newton (ḿınimos
cuadrados no lineales), Newton-Raphson (máxima
verosimilitud), Filtro de Kalman, Filtración Adaptada, etc.
Nota: por el momento asumimos que los órdenes p y q son
conocidos.
Estimación de parámetros: modelos AR(p)
▶ Recordemos el modelo autorregresivo de orden p
yt = ϕ1 yt−1 + ϕ2 yt−2 + · · ·+ ϕp yt−p + ϵt
▶ Multiplicando ambos lados por e.g. yt−k y tomando
esperanzas,
E (yt−k yt) =
p∑
j=1
ϕjE (yt−k yt−j) + E (yt−k ϵt) .
▶ El término de ϵt es nulo si k > 0 (el error ϵt es independiente
de yt−k) e igual a σ
2 si k = 0 (porque cov(yt , ϵt) = σ
2).
cov(yt−k , yt) =
p∑
j=1
ϕj cov(yt−k , yt−j)
▶ Dividiendo ambos lados por var(yt),
ρk =
p∑
j=1
ϕj ρk−j
Estimación de parámetros: modelos AR(p) (cont.)
▶ Finalmente, las autocorrelaciones pueden ordenarse en un
sistema de ecuaciones lineales, conocidas como las ecuaciones
de Yule-Walker,
ρ1
ρ2
...
ρp
 =

1 ρ1 . . . ρp−1
ρ1
. . .
. . .
...
...
. . .
. . . ρ1
ρp−1 . . . ρ1 1


ϕ1
ϕ2
...
ϕp

▶ En forma más sintética, ρ = Rϕ, de modo que podemos
estimar ϕ despejandolo del la relación anterior
ϕ̂ = R̂
−1
ρ̂.
Estimación de parámetros: modelos AR(p) (cont.)
Ejemplo. Consideremos la siguiente serie de tiempo y supongamos
que sigue un proceso AR(2).
yt = ϕ1 yt−1 + ϕ2 yt−2 + ϵt ϵt ∼ N(0, σ2)
t 1 2 3 4 5 6
yt 100,0 132,5 152,8 154,6 149,4 143,2
t 7 8 9 10 11 12
yt 136,6 143,4 141,3 140,8 147,0 146,8
Los coeficientes de correlación estimados son ρ̂1 = 0, 1765 y
ρ̂2 = −0, 5531. Luego, la solución del sitema de Yule-Walker es[
ϕ̂1
ϕ̂2
]
=
[
1, 0000 0, 1765
0, 1765 1, 0000
]−1 [
0, 1765
−0, 5531
]
=
[
0, 2829
−0, 6030
]
En cambio, la estimación OLS es ϕ̂1 = 0, 6229 y ϕ̂2 = −0, 3654.
Estimación de parámetros: modelo MA(1)
Consideremos el modelo MA(1)
yt = ϵt − θ1 ϵt−1, ϵt ∼ N(0, σ2).
Para estimar θ1 procedemos igual que en el desarrollo de
Yule-Walker y recordamos que E (ϵt ϵt−j) = 0 para j ̸= 0.
E (yt yt) = E
[
(ϵt − θ1 ϵt−1)2
]
= E
[
ϵ2t − 2 θ1 ϵt ϵt−1 + θ21 ϵ2t−1
]
=
(
1 + θ21
)
σ2
E (yt−1 yt) = E [(ϵt−1 − θ1ϵt−2) (ϵt − θ1ϵt−1)]
= E
[
ϵt ϵt−1 − θ1 ϵt−1 ϵt−1 − θ1 ϵt ϵt−2 + θ21 ϵt−1 ϵt−2
]
= −θ1 σ2
Estimación de parámetros: modelo MA(1) (cont.)
Luego, sabiendo que ρ = cov(yt−1, yt)/var(yt),
ρ =
−θ1
1 + θ21
⇐⇒ ρ θ21 + θ1 + ρ = 0
Finalmente, reemplazando ρ por su estimador, podemos hallar θ1
mediante la resolvente de segundo grado
θ̂1 =
−1±
√
12 − 4ρ̂2
2ρ̂
para |θ̂1| < 1
Ejemplo. Ajustamos un modelo MA(1) a la siguiente serie
-0,22 0,23 -0,07 0,09 -0,13 0,10 0,02 0,38 0,38 0,29
El estimador de ρ es ρ̂ = 0, 1688, de manera que
θ̂1 =
−1±
√
1− 4× 0, 16882
2× 0, 1688
=
{
θ̂1 = −0, 1739
θ̂1 = −5, 7513
Estimación de parámetros: modelos MA(q)
Procediendo de manera análoga, para el modelo MA(2) tendremos
dos ecuaciones
ρ1 =
−θ1 + θ1θ2
1 + θ21 + θ
2
2
y ρ2 =
−θ2
1 + θ21 + θ
2
2
En general, para q rezagos tendremos
ρk =
−θk + θ1θk+1 + · · ·+ θq−kθq
1 + θ21 + · · ·+ θ2q
k = 1, 2, . . . , q
y 0 si k > q.
▶ En la práctica, este método no se utilza para estimar
parámetros en modelo de orden superior a 2.
▶ La complejidad de estimación se debe a que los regresores ϵt
no son observables y la forma equivalente del modelo en
función de y no es lineal en los parámetros.
Estimación de parámetros: modelo ARMA(1,1)
El método de momentos se puede extender a los modelos
ARMA(p,q). En el caso del modelo ARMA(1,1)
yt = ϕ1 yt−1 − θ1 ϵt−1 + ϵt , ϵt ∼ N(0, σ2)
Las tres autocovarianzas asociadas a este proceso necesarias para
estimar ϕ1 y θ1 son
var(yt) =ϕ
2
1 var(yt−1) + θ
2
1 var(ϵt−1) + var(ϵt)− 2ϕ1θ1 cov(yt−1, ϵt−1)
+ 2ϕ1 cov(yt−1, ϵt)− 2 θ1 cov(ϵt−1, ϵt)
cancelando las covarianzas nulas, esta expresión se simplifica a
var(yt) = ϕ
2
1 var(yt) + θ
2
1σ
2 + σ2 − 2ϕ1θ1σ2
de donde despejamos
var(yt) =
(1− 2ϕ1θ1 + θ21)σ2
1− ϕ21
.
Estimación de parámetros: modelo ARMA(1,1) (cont.)
Del mismo modo, las expresiones para cov(yt , yt−1) y
cov(yt , yt−2) son
cov(yt , yt−1) = cov(ϕ1 yt−1 − θ1 ϵt−1 + ϵt , yt−1) = ϕ1 var(yt)− θ1 σ2
y
cov(yt , yt−2) = cov(ϕ1 yt−1 − θ1 ϵt−1 + ϵt , yt−2) = ϕ1 cov(yt , yt−1)
Dividiendo ambas covarianzas por var(yt) obtenemos ρ1 y ρ2
ρ1 =
ϕ1 var(yt)− θ1 σ2
var(yt)
= ϕ1 −
θ1(1− ϕ21)
1− 2ϕ1θ1 + θ21
y ρ2 = ϕ1ρ1.
Reordenando la expresión de ρ1 obtenemos la ecuación
(ρ1 − ϕ1) θ21 +
(
1− 2ρ1ϕ1 + ϕ21
)
θ1 + (ρ1 − ϕ1) = 0
Estimación de parámetros: modelo ARMA(1,1) (cont.)
▶ Al igual que en los modelos AR y MA, estimamos ρ1 y ρ2 (y
ϕ1) a través de las correlaciones muestrales, y calculamos θ̂1
con la resolvente de segundo grado, reteniendo la solución
invertible.
▶ Una alternativa más sencilla propuesta por los mismos autores
consiste en ajustar primero la parte AR(p), calcular los
residuos y modelar estos últimos como proceso MA(q).
▶ Hannan y Rissanen sugieren como aproximación ajustar un
modelo AR a una cantidad suficientemente grande de rezagos
para obtener los residuos, y luego ajustar el modelo
ARMA(p,q) por OLS.
▶ Estas alternativas son meras aproximaciones que no
reemplazan métodos más exactos como ML
(Newton-Raphson) o LS no lineales (Gauss-Newton).
Estimación de la varianza del error σ2
▶ Para procesos modelos AR(p), el estimador de la varianza del
error es
σ̂2 = (1− ϕ̂1ρ̂1 − · · · − ϕ̂pρ̂p) v̂ar(yt)
▶ Para procesos MA(q), el estimador de la varianza del error es
σ̂2 =
v̂ar(yt)
1 + θ21 + · · ·+ θ2q
▶ Para el proceso ARMA(1,1), el estimador
σ̂2 =
1− ϕ̂21
1− 2 ϕ̂1θ̂1 + θ̂21
v̂ar(yt)
en todos los casos v̂ar(yt) =
1
n−1
∑n
t=1(yt − ȳ)2.
Estacionariedad: la prueba de Dickey-Fuller Aumentada
▶ Un supuesto fundamental de los modelos AR, MA y ARMA es
el de estacionariedad.
▶ Para probar estacionariedad utilizamos la prueba de Dickey y
Fuller Aumentada o ADF, cuya hipótesis nula supone que el
modelo presenta “ráız unitaria”, es decir, que alguno de los
parámetros es igual o mayor a 1.
▶ Si se rechaza H0, asumimos que el proceso es estacionario.
Caso contrario,planteamos un modelo en diferencias, es decir,
asumimos que se trata de un modelo integrado de orden d .
▶ El test ADF consiste básicamente en ajustar el modelo
∆yt = α+ β t + ϕ yt−1 + δ1∆yt−1 + · · ·+ δp−1∆yt−p+1 + ϵt
para un orden p arbitrario.
Estacionariedad: la prueba de Dickey-Fuller Aumentada
(cont.)
Ejemplo. Probamos estacionariedad de la serie del ejemplo
anterior a través del test de Dickey-Fuller.
∆yt ord. t yt−1 ∆yt−1
0,45 1 1 -0,22 0,00
-0,30 1 2 0,23 0,45
0,15 1 3 -0,07 -0,30
-0,22 1 4 0,09 0,15
0,23 1 5 -0,13 -0,22
-0,08 1 6 0,10 0,23
0,36 1 7 0,02 -0,08
0,00 1 8 0,38 0,36
-0,09 1 9 0,38 0,00
Var. Est. Desv́ıo τ
ord. -0,09 0,18 -0,49
t 0,05 0,04 1,29
yt−1 -1,27 0,67 -1,89
∆yt−1 -0,03 0,43 -0,06
El estad́ıstico cŕtico τ∗ de DF
para el modelo con constante y
tendencia es −3, 66. Como
|τ | < |τ∗| no rechazamos H0.
Estacionariedad: la prueba de Dickey-Fuller Aumentada
(cont.)
▶ La hipótesis de la prueba de ráız unitaria son H0: ϕ = 0 versus
H1: ϕ < 0. El estad́ıstico de prueba τ = ϕ̂/sϕ̂ se compara con
el valor cŕıtico de la tabla de Dickey y Fuller.
▶ En la práctica surge el problema de determinar cuántos
rezagos p tomar. Usualmente se siguen dos alternativas:
(i) Minimzar el criterio de información de Akaike (AIC)
AIC = ln s2m +
2m
n
, m = p + 3
donde s2 es el cuadrado medio de los residuos y m es la
cantidad de parámetros del modelo.
(ii) Partir de un modelo con una cantidad suficientemente grande
de rezagos y eliminarlos uno a uno hasta hallar el primero con
δ significativo.
Función de autocorrelación (FAC) y de autocorrelación
parcial (FACP)
▶ En los modelos AR(p) hallamos que la autocorrelación entre
valores de la series rezagados k peŕıodos es
ρk =
p∑
j=1
ϕjρk−j
▶ En modelos MA(q) (multiplicando ambos miembros y tomado
esperanzas) la autocorrelación entre valores rezagados k
peŕıodos es
ρk =
−θk + θ1θk+1 + · · ·+ θq−kθq
1 + θ21 + · · ·+ θ2q
k = 1, 2, . . . , q
y 0 si k > q.
▶ La FACP representa la FAC descontando el efecto de los
términos intermedios. O bien, es la función que surge de
tomar el último coeficiente de (ϕp o θq) del modelo.
Función de autocorrelación (FAC) y de autocorrelación
parcial (FACP) (cont.)
Estimación por filtración adaptada del modelos MA(q)
▶ Makridakis y Wheelwright proponen un método de estimación
basado en filtración adaptada. La fórmula de cálculo es la
siguiente
θtj = θt−1,j + 2Ket(−et−j)
donde K es una constante que determina la velocidad de
convergencia al verdadero parámetro.
▶ Los autores aconsejan estandarizar los residuos para garantizar
convergencia. El protocolo es el siguiente:
(1) Se parte de un vector θ0 y de una estimación previa de los
primeros q errores, e1 = · · · = eq = 0. Se fija K < 1/q.
Estimación por filtración adaptada del modelos MA(q)
(cont.)
(2) Se calcula el residuo en t = q + 1 a partir del modelo MA
reordenado
et = yt + θ1 et−1 + θ2 et−2 + · · ·+ θq et−q
(3) Se estandarizan los parámetros
θ̂∗tj = θ̂t−1,j − 2K
et
st
et−j
st
donde st =
√√√√ q∑
j=0
e2t−j ,
(4) Se vuelve a (2) y se repite el cálculo para et+1, et+2, . . . , en.
(5) Si al final del primer ciclo las estimaciones no convergieron, se
inicia un nuevo ciclo partiendo de θ1 hasta convergencia.
Estimación de parámetros: modelos ARMA(p, q)
▶ El mismo algoritmo puede utilizarse para estimar los
parámetros del modelo AR(p) con la fórmula
ϕ̂∗tj = ϕ̂t−1,j − 2K
et
st
yt−j
s∗t
donde s∗t =
√√√√ p∑
j=1
y2t−j ,
▶ El método de filtración adaptada puede ser extendido a
modelos ARMA(p, q) actualizando simultáneamente los
vectores ϕ y θ pero estandarizando con
st =
√√√√ q∑
j=0
e2t−j +
p∑
j=1
y2t−j .
Estimación de parámetros: modelos ARMA(p, q) (cont.)
Ejemplo. Estimamos los coeficientes de un modelo ARMA(1,1) a
los datos del ejemplo anterior con el método de Makridakis.
Utilizamos θ
(0)
1 = 0, 5; ϕ
(0)
1 = 0, 39 (obtenido por OLS) y K = 0, 3;
sin estandarizar los residuos.
yt e
(1)
t θ
(1)
1j ϕ
(1)
1j e
(2)
t θ
(2)
1j ϕ
(2)
1j
-0,22 -0,22 0,50 0,39 -0,22 0,36 0,26
0,23 0,21 0,53 0,41 0,21 0,39 0,29
-0,07 -0,05 0,53 0,42 -0,06 0,39 0,29
0,09 0,09 0,54 0,42 0,09 0,40 0,30
-0,13 -0,12 0,54 0,43 -0,12 0,40 0,30
0,10 0,09 0,55 0,44 0,10 0,41 0,31
0,02 0,03 0,55 0,44 0,02 0,41 0,31
0,38 0,38 0,54 0,43 0,38 0,40 0,30
0,38 0,42 0,45 0,34 0,40 – –
0,29 0,35 0,36 0,26 0,33 – –
	Definición de modelos AR, MA y ARMA.
	Modelos AR(p). Estimación de parámetros.
	Modelos MA(q). Estimación de parámetros.
	Modelos ARMA(p,q). Estimación de parámetros.
	Estimación de la varianza del error 2
	Prueba de Dickey-Fuller de estacionariedad
	Funciones de autocorrelación y autocorrelación parcial
	Anexo I: Filtración Adpatada
	Modelos ARMA(p,q). Estimación de parámetros.