11 Optimizaciondinamica_tiempocontinuo_ - Bárbara Bautista Aguilar

Vista previa del material en texto

Optimización dinámica en tiempo continuo
Economía Matemática – 2019/1
Tiempo discreto y continuo en macroeconomia y finanzas
Source: Brunnermeier and Sannikov, Macro, Money and Finance: A Continuous-Time Approach,
Handbook of Macroeconomics
Definición del problema
• El problema de optimización que vamos resolver es
Ṽ (x0,0)≡ máx
c(t),x(t)
∫ ∞
0
e−ρtu(x(t),c(t))dt
sujeto a:
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ 0
x(0) dado
Definición del problema
• x(t) ∈ X ⊆ Rn: variable de estado
• c(t) ∈ A⊆ Rm: variable de control
• u : X ×A→ R: función de utilidad instantánea
• La variable de control ahora es una función c(t) : R+ 7→ R
Problema en t = τ > 0
• Considere ahora el problema de un agente en periodo τ :
Ṽ (x , τ)≡ máx
c(t),x(t)
∫ ∞
τ
e−ρtu(x(t),c(t))dt
sujeto a
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ τ
x(τ) dado
• Si multiplicamos su función utilidad por eρτ tenemos
V (x)≡ Ṽ (x , τ) = máx
c(t),x(t)
∫ ∞
τ
e−ρ(t−τ)u(x(t),c(t))dt
• V (x) es función valor optima en valor corriente
Supuesto técnico
Suposición
La función valor optima V (x) es diferenciable.
• Haciendo algunos supuesto adicionales, podemos garantizar que la función V
es diferenciable
• Pero no vamos preocuparnos con esto en este curso
I En muchos problemas este supuesto no es verdad, pero hay tenemos la teoría
de viscosity solutions
I Referencias, por si acaso les interesa:
∗ Lions (1983) “Hamilton-Jacobi-Bellman Equations and the Optimal Control of
Stochastic Systems”
∗ Bressan (2011) “Viscosity Solutions of Hamilton-Jacobi Equations and Optimal
Control Problems”
I En general, mismo que el supuesto sea violado, podemos utilizar los resultados
presentados acá, desde que interpretemos la solución de una ecuación
diferencial de otra manera («in the viscosity sense»)
Hamilton-Jacobi-Bellman
Teorema
La función valor optima en valor corriente satisface la ecuación de
Hamilton-Jacobi-Bellman:
ρV (x) = máx
c∈A
{
u(x ,c) + V ′(x) · f (x ,c)
}
• Obs: si x es un vector, V ′(x) representa el vector gradiente
Derivación heurística HJB
• Suponga que en un dado periodo τ el agente debe eligir c(t) = c y no
cambiar hasta t + dt
• Por simplicidad, suponga que x ∈ R y c ∈ R
• Entonces, su problema es
V (x) = máx
c
{∫ τ+dt
τ
e−ρ(t−τ)u(x(t),c)dt + e−ρdtV (x(τ + dt))
}
(1)
sujeto a
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ τ
x(τ) = x dado
Derivación heurística HJB
• Podemos re-ordenar (1) para obtener (sume por −e−ρdtV (x) de los dos lados)(
1− e−ρdt
)
V (x) = máx
c
{∫ τ+dt
τ
e−ρ(t−τ)u(x(t),c)dt + e−ρdt [V (x(τ + dt)) − V (x)]
}
sujeto a
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ τ
x(τ) = x dado
Derivación heurística HJB
• Dividiendo por dt(
1− e−ρdt
)
V (x)
dt
= máx
c
{∫ τ+dt
τ
e−ρ(t−τ)u(x(t),c)dt
dt
+
e−ρdt [V (x(τ + dt)) − V (x)]
dt
}
sujeto a
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ τ
x(τ) = x dado
Derivación heurística HJB
• Sacando el limite cuando dt→ 0 tenemos:
ρV (x) = máx
c
{
u(x ,c) + V ′(x)ẋ(t)
}
sujeto a
ẋ(t) = f (x(t),c(t)) y c(t) ∈ A,x(t) ∈ X ,∀t ≥ τ
x(τ) = x dado
• Obs: hay que usar L’Hopital para ĺımdt→0
(1−e−ρdt)V (x)
dt y también el teorema
fundamental del calculo para ĺımdt→0
∫ τ+dt
τ
e−(ρ−τ)t u(x(t),c)dt
dt
• Perciba que dd(dt)
(∫ τ+dt
τ
e−ρ(t−τ)u(x(t),c)dt
dt
)
= e−ρdtu(x(τ + dt),c) por el
teorema fundamental del calculo
Derivación heurística HJB
• Reemplazando ẋ(t) = f (x(t),c(t)) tenemos
ρV (x) = máx
c∈A
{
u(x ,c) + V ′(x)f (x ,c)
}
(HJB)
• Por lo tanto, si V (x) es la función valor optima satisface HJB
Ejemplo: inversión
• Considere el siguiente problema
V (k)≡ máx
I(t),k(t)
∫ ∞
0
e−ρt
[
πk(t)− I(t)− 12
(
I(t)
k(t)
)2
k(t)
]
dt
sujeto a
k̇(t) =−δk(t) + I(t)
k(t)≥ 0
k(0) dado
• f (·) es la función de producción, 12
(
I(t)
k(t)
)2
k(t) son costos de ajuste, I(t) es
la inversión, k(t) es capital
Ejemplo: inversión
• La HJB es
ρV (k) = máx
I
{
πk− I− 12
(
I
k
)2
k + V ′(k) [−δk + I]
}
• La CPO para I nos da
−1− Ik + V
′(k) = 0
Ejemplo: inversión
• Reemplazando I = k (V ’(k)−1) en la HJB:
ρV (k) = πk−k (V ’(k)−1)− 12 (V ’(k)−1)
2 k + V ′(k) [−δk + k (V ’(k)−1)]
ρ
V (k)
k = π+
1
2 − (1+ δ)V
′(k) + 12V
′(k)2 (HJB Inv)
• Ecuación no lineal... No sabemos encontrar solución general de manera
analítica
I Condiciones suficientes?
• Sabemos que la HJB es necesaria, pero no suficiente para el optimo
• Si fuera suficiente, bastaría encontrar una solución de (HJB INV), pero no lo
es
• Como veremos, (HJB) + (alguna condición de transversalidad) serán
necesarias y suficientes para el encontrar la función valor optima
• Antes vamos mirar el método del Hamiltoniano
Hamiltoniano
Hamiltoniano: cookbook
• Escriba:
H(x(t),c(t),λ(t)) = u(c(t),x(t)) +λ(t)f (x(t),c(t))
• Llamamos λ(t) de co-estado. Sobre algunas condiciones, c(t),k(t) son
óptimos si, y solo si, las siguientes condiciones se cumplen para alguna función
λ(t):
Hc(x(t),c(t),λ(t)) = 0 (1)
λ̇(t) = ρλ(t)−Hx (x(t),c(t),λ(t)) (2)
ẋ(t) = f (x(t),c(t)) (3)
ĺım
T→∞
e−ρTλ(T )x(T ) = 0 (4)
x(0) = x0 dado (5)
Relación entre Hamiltoniano y HJB
• Podemos reescribir (1) y (2) como (omitimos los argumentos de tiempo)
uc(c,x) +λfc(x ,c) = 0 (1’)
λ̇= ρλ−ux (c,x)−λfx (x ,c) (2’)
• La condición de primera orden de HJB implica
uc(x ,c) + V ′(x)fc(x ,c) = 0 (CPO HJB)
• Suponga fc(x(t),c(t)) 6= 0 siempre.
• Entonces, (1’) y (CPO HJB) son satisfecha si, y solo si, λ(t) = V ′(x(t))
Relación entre Hamiltoniano y HJB
• Sacando la derivada de HJB en el c optimo con relación a x (envelope
theorem)
ρV ′(x) = ux (x ,c) + V ′′(x)f (x ,c) + V ′(x)fx (x ,c)
• Sacando la derivada de λ(t) = V ′(x(t)) con relación al tiempo:
λ̇= V ′′(x)ẋ = V ′′(x)f (x ,c)
• Luego, combinando las dos ecuaciones arriba:
ρλ= ux (x ,c) + λ̇+λfx (x ,c)
• Que es igual a (2’)
Relación entre Hamiltoniano y HJB
• Además, usando λ(t) = V ′(x(t)) en la condición de transversalidad del
Hamiltoniano tenemos
ĺım
T→∞
e−ρT V ′(x(T ))x(T ) = 0 (TC)
Relación entre Hamiltoniano y HJB
• Suponga que uno tiene una función V (x) que satisface HJB y (TC)
• Sea c(t) y x(t) la evolución de c y x suponiendo que maximizamos HJB para
un cada x
I Tomando V (x) y x(0) como dado
• Entonces, si hacemos λ(t) = V ′(x) tenemos que condiciones (1), (2), (3), (4)
y (5) del Halmitoniano se cumplen
• En otras palabras: las condiciones del Halmitoniano son equivalentes a
(TC)+(HJB)
Relación entre Hamiltoniano y HJB
• Por lo tanto, si uno tiene una función V (x) que satisface HJB
• Sea c(t) y x(t) la evolución de c y x suponiendo que maximizamos HJB para
un cada x
I Tomando V (x) como dado
• Entonces, si hacemos λ(t) = V ′(x) tenemos que condiciones (1), (2), (3) y
(5) del Halmitoniano se cumplen
• En otras palabras: las condiciones del (1), (2), (3) y (5) llevan a los mismo
resultados que HJB
Sumário
Tenemos dos tipos de condiciones necesarias y suficientes para resolver el
problema:
1 Hamiltoniano: H(x(t),c(t),λ(t)) = u(c(t),x(t)) +λ(t)f (x(t),c(t)), con
Hc(x(t),c(t),λ(t)) = 0 (1)
λ̇(t) = ρλ(t)−Hx (x(t),c(t),λ(t)) (2)
ẋ(t) = f (x(t),c(t)) y ĺım
T→∞
e−ρTλ(T )x(T ) = 0 y x(0) = x0 (3,4,5)
2 Hamilton-Jacobi-Belman y (TC):
ρV (x) = máx
c∈A
{
u(x ,c) + V ′(x)f (x ,c)
}
(HJB)
ĺım
T→∞
e−ρT V ′(x(T ))x(T ) = 0 (TC)
Ejemplo: inversión (de nuevo)
• En el problema de inversión (usando HJB) teníamos llegado que
I(k) = k (V ’(k)−1) and ρV (x)k = π+
1
2 − (1+ δ)V
′(k) + 12V
′(k)2
• Suponga ahora que ρ= 0,05, δ = 2 y π = 4
• Guess and verify: V (k) = ak, para alguna constante a. Entonces HJB es:
ρa = π+ 12 − (1+ δ)a +
1
2a
2
• Resolviendo para a tenemos dos soluciones: a = 2,5 y a = 3,6
Ejemplo: inversión (de nuevo)
• Hay dos soluciones para HJB: V (k) = 2,5 ·k y V (k) = 3,6 ·k
• La primera solución implica:
I(k) = 1,5 ·k ⇒ k̇ =−2k +1,5 ·k =−0,5k ⇒ k(t) = k0e−0,5t
• La segunda solución implica:
I = 2,6 ·k ⇒ k̇ =−2k +2,6 ·k = 0,6k ⇒ k0e0,6t
• Perciba que la segunda solución viola la condición detransversalidad
• Luego, la primera solución de HJB es la «cierta»
I La función valor es V (k) = 2,5k
• Homework: encuentre la solución de este problema usando el Hamiltoniano
	Hamilton-Jacobi-Bellman
	Hamiltoniano