em192_clase11_control_optimo_tiempo_continuo_parte1

Vista previa del material en texto

Econoḿıa Matemática – EAE-319B
Control Óptimo en Tiempo Continuo - Parte 1
Jaime Casassus
Instituto de Econoḿıa
Pontificia Universidad Católica de Chile
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Problema de Optimización
• Suponga que existen n variables de estado x(t) = (x1(t), · · · , xn(t)) y m variables
de control u(t) = (u1(t), · · · , um(t)).
• Usted busca maximizar la siguiente función objetivo
max
u(t)
∫ T
0
F (x(t), u(t))dt + ψ(x(T ))
sujeto a
x ′(t) = f (x(t), u(t))
x(0) = x0
u(t) ∈ U
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Teorema: El Principio del Máximo de Pontryagin
• Sea H el “Hamiltoniano” del problema de optimización:
H(x , u, λ) = F (x , u) + λ>f (x , u)
donde λ es una variable auxiliar (conocida como variable “adjunta”)
• Suponga que u(t) y x(t) representan las dinámicas óptimas del problema anterior.
• Entonces, existe una trayectoria adjunta óptima λ(t), tal que u(t), x(t) y λ(t)
satisfacen las siguientes condiciones:
1. x ′(t) = f (x(t), u(t)) (n ecuaciones de sistema)
2. x(0) = x0 (n condiciones iniciales)
3. −λ′(t) = DHx(x(t), u(t), λ(t)) (n ODE’s adjuntas)
= DFx(x(t), u(t)) + λ(t)
>Dfx(x(t), u(t))
4. λ(T )> = Dψx(x(T )) (n ecuaciones adjuntas finales)
5. H(x(t), v(t), λ(t)) ≤ H(x(t), u(t), λ(t)), para cualquier v(t) ∈ U
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Notación en el Teorema anterior
λ =
 λ1...
λn
 , f (x , u) =
 f1(x , u)...
fn(x , u)
 ,
Dfx(x , u) =

∂f1(x,u)
∂x1
· · · ∂f1(x,u)
∂xn
...
. . .
...
∂fn(x,u)
∂x1
· · · ∂fn(x,u)
∂xn
 ,
DFx(x , u) =
(
∂F (x,u)
∂x1
· · · ∂F (x,u)
∂xn
)
,
Dψx(x) =
(
∂ψ(x)
∂x1
· · · ∂ψ(x)
∂xn
)
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Intuición para Ecuaciones 3 y 4 del Teorema
• Considere el caso de m = n = 1 y la funcion Lagrangiana con multiplicadores λ(t):
J0 =
∫ T
0
F (x(t), u(t))dt + ψ(x(T )) +
∫ T
0
λ(t)
(
f (x(t), u(t))− x ′(t)
)
dt
o usando la definición del Hamiltoniano:
J0 =
∫ T
0
H(x(t), u(t), λ(t))dt + ψ(x(T ))−
∫ T
0
λ(t) x ′(t)dt
Nota: se puede demostrar que integrando ambos lados de d(λ(t)x(t)) = λ(t)dx(t) +
x(t)dλ(t) se obtiene que
∫ T
0 λ(t)x
′(t)dt = λ(T )x(T ) − λ(0)x(0) −
∫ T
0 x(t)λ
′(t)dt
Reemplazando en la función Lagrangiana y reordenando se obtiene:
J0 =
∫ T
0
(
H(x(t), u(t), λ(t)) + x(t)λ′(t)
)
dt + ψ(x(T ))− λ(T )x(T ) + λ(0)x(0)
• Las condiciones de primer orden ∂J0
∂x(t)
= 0 y ∂J0
∂x(T )
= 0 entregan la dinámica
óptima para la variable λ(t) (ecuaciones 3 y 4):
∂H(x(t), u(t), λ(t))
∂x(t)
+ λ′(t) = 0 y ψ′(x(T ))− λ(T ) = 0
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Ejemplo 1
• Usted quiere maximizar
max
u(t)
−
∫ 5
0
20 u(t)dt + 30 x(5)
sujeto a
x ′(t) = −0.1 x(t) + u(t) con x(0) = 20 y 0 ≤ u(t) ≤ 4
• Sea el Hamiltoniano
H(x , u, λ) = −20 u + λ(−0.1 x + u)
• Usando el Principio de Máximo se obtiene la dinámica óptima de λ(t):
−λ′(t) = −0.1λ(t) y λ(5) = 30 =⇒ λ(t) = 30 e−0.1(5−t)
• La ecuación 5 del teorema dice que u maximiza el Hamiltoniano sujeto a u ∈ U
u(t) =
{
0 si −20 + λ(t) < 0
4 si −20 + λ(t) ≥ 0 (ojo que H es lineal en u)
• Sea t∗ = 0.945 tal que −20 + λ(t∗) = 0, entonces
u(t) =
{
0 si 0 ≤ t < 0.945
4 si 0.945 ≤ t ≤ 5
• Una vez obtenido u(t), puede resolver la dinámica óptima de x(t).
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Ejemplo 2: consumo e inversión
• Un agente con riqueza inicial W0 maximiza la siguiente utilidad de consumo
max
c(t)
∫ T
0
log(c(t))dt + log(W (T ))
sujeto a
W ′(t) = r(t)W (t)− c(t) con W (0) = W0
r ′(t) = κ(θ − r(t)) con r(0) = r0
• En este caso tenemos m = 1 (c(t)) y n = 2 (W (t) y r(t)).
• Sea el Hamiltoniano
H(W , r , c, λ1, λ2) = log(c) + λ1(r W − c) + λ2κ(θ − r)
• Usando el Principio de Máximo se obtiene la dinámicas de λ1(t) y λ2(t):
−λ′1(t) = λ1(t)r(t) y λ1(T ) = W (T )−1
y
−λ′2(t) = λ1(t)W (t)− λ2(t)κ y λ2(T ) = 0
• Sabemos que c maximiza el Hamiltoniano, por lo tanto
∂H(t)
∂c(t)
= c(t)−1 − λ1(t) = 0 =⇒ c(t) = λ1(t)−1
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Ejemplo 2: consumo e inversión (cont.)
• Las dinámicas óptimas de las variables de estado y variables adjuntas son
W ′(t) = r(t)W (t)− λ1(t)−1 con W (0) = W0 (1)
r ′(t) = κ(θ − r(t)) con r(0) = r0 (2)
λ′1(t) = −λ1(t)r(t) con λ1(T ) = W (T )−1 (3)
λ′2(t) = −λ1(t)W (t) + λ2(t)κ con λ2(T ) = 0 (4)
• Como necesitamos λ1(t) para obtener c(t), nos concentramos en (3) y (1)
• De la ecuación (3) se obtiene
λ1(t) = W (T )
−1e
∫ T
t r(s)ds (con W (T ) constante desconocida)
• Reemplazando en (1) tenemos
W ′(t) = r(t)W (t)−W (T )e−
∫ T
t r(s)ds
que tiene como solución
W (t) = e
∫ t
0 r(s)ds
(
W0 −W (T )e−
∫ T
0 r(s)dst
)
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
Ejemplo 2: consumo e inversión (cont.)
• Evaluando la ecuación anterior en T y despejando podemos obtener W (T )
W (T ) =
W0e
∫ T
0 r(s)ds
1 + T
• Reemplazando W (T ) en la solución de W (t) se obtiene
W (t) = W0e
∫ t
0 r(s)ds
(
1− t
1 + T
)
• También se obtiene el consumo óptimo
c(t) = λ1(t)
−1 =
W0
1 + T
e
∫ t
0 r(s)ds
y la razón consumo/riqueza
c(t)
W (t)
=
1
1 + T − t
• (Por supuesto que se podŕıa resolver el término e
∫ t
0 r(s)ds usando la ecuación (2))
Casassus (UC) EAE-319B - Econoḿıa Matemática 18-Nov-19
	Problema de Optimización
	Teorema: El Principio del Máximo de Pontryagin
	Notación en el Teorema anterior
	Intuición para Ecuaciones 3 y 4 del Teorema
	Ejemplo 1
	Ejemplo 2: consumo e inversión