El principio de optimalidad que Richard E. Bellman establecido en su libro en el a˜no de 1957 (p´agina 83) dice lo siguiente:
“An optimal policy has the property that whatever the initial state and initial decision are, the remaining decisions must constitute an optimal policy with regard to the state resulting from the first decision.”
De acuerdo con Bellman (1957, p´agina 115), la idea b´asica de la programaci´on din´amica fue iniciada por ´el mismo en su investigaci´on, sobre problemas de decisi´on de multiples estados, realizada durante los a˜nos de 1949 y 1951. El primer trabajo publicado sobre programaci´on din´amica fue presentado por Bellman en 1952, el cual un a˜no despu´es fue incluido dentro de una serie de art´ıculos de la serie de Rand Corporation.
Para el a˜no de 1954, Bellman encontr´o que la t´ecnica era tambi´en aplicable al c´alculo de variaciones y a los problemas de control ´optimo, cuyas ecuaciones de estado eran ecua- ciones diferenciales ordinarias. Esto, posteriormente, lo llev´o a la soluci´on de una ecuaci´on
2
Las condiciones de suficiencia para la existencia y unicidad de una soluci´on para un sistema de ecuaciones diferenciales estoc´asticas han sido muy estudiadas y a lo largo de este cap´ıtulo se presentar´an los resultados mas relevantes.
diferencial parcial no-lineal, ahora conocida como ecuaci´on de Hamilton-Jacobi-Bellman (HJB). Sin embargo, parece ser que ´el no reconoci´o, en un principio, la relaci´on existente entre este tipo de soluciones y la bien conocida ecuaci´on de Hamilton-Jacobi originada dentro del ´area de la mec´anica. De hecho, no existe menci´on de esta relaci´on sino hasta tres a˜nos despu´es de la aparici´on del libro de Bellman; tal menci´on fue hecha por Rudolf E. Kalman (1960) y probablemente fue el primero en usar el nombre de la ecuaci´on de Hamilton-Jacobi-Bellman para problemas de control ´optimo.
No obstante, hay que decir que el trabajo de Bellman se basa en algunos otros trabajos y aportaciones anteriores. Primero, la idea del principio de optimalidad realmente se debe a Jakob Bernoulli con la soluci´on del famoso problema debrachistochroneen el a˜no de 1696. Por otra parte, una ecuaci´on relativamente id´entica a la que mas tarde se conocer´ıa como “ecuaci´on de Bellman”, fue derivada por Carath´eodory en 1926, mientras ´el estudiaba las condiciones de suficiencia de los problemas de c´alculo de variaciones. Finalmente, tambi´en debemos mencionar el trabajo de Wald sobre an´alisis secuencial, realizado en los ´ultimos a˜nos de la d´ecada de los cuarenta, y el cual contiene algunas ideas similares a lo que propone la programaci´on din´amica.
Aunque la versi´on estoc´astica en tiempo discreto de la programaci´on din´amica fue discutida en los primeros trabajos de Bellman, la versi´on estoc´astica en tiempo continuo (la cual involucra las ecuaciones diferenciales estoc´asticas del tipo de Itˆocomo ecuaciones de estado), probablemente fueron primero estudiadas por Kushner (1962). A partir de entonces, mucha gente ha contribuido al desarrollo de la materia.3
Ahora bien, tenemos que decir que por largo tiempo, la teor´ıa de programaci´on din´amica de sistemas determin´ısticos careci´o de rigor. La principal dificultad matem´atica para un tratamiento riguroso es que la ecuaci´on de HJB correspondiente es una ecuaci´on diferencial parcial de primer ´orden, la cual generalmente no admite una soluci´on cl´asica (suave) o donde las funciones de valor no son continuamente diferenciables. Algunas per- sonas hicieron varios intentos para introducir diferentes nociones de generalidad o solu- ciones d´ebiles, y trataron de probar que la funci´on de valor es soluci´on de la ecuaci´on de HJB en alg´un sentido. Durante la d´ecada de los sesenta, en una serie de art´ıculos, Kru˘zkov (1966 y 1970) construy´o una teor´ıa sistem´atica para la soluci´on de ecuaciones de Hamilton- Jacobi (HJ) de primer ´orden con el uso de hamiltonianos suaves y convexos. En particular, la soluci´on viscosa disminuida fue introducida por ´el. Al mismo tiempo, Fleming (1964 y 1969), independientemente, introdujo este concepto combinado con la t´ecnica de juegos
3
Por mencionar algunos trabajos, el lector puede consultar a Fleming & Rishel (1975), Krylov (1980) y Fleming & Soner (1992).
diferenciales.
Por otro lado, al inicio de los a˜nos ochentas, Subbotin (1980) estudio las ecuaciones de HJ con hamiltonianos no-convexos, introduciendo a la postre la llamada soluci´on minimax. Mientras que Clarke & Vinter (1983) emplearon los gradientes generalizados de Clarke para introducir soluciones generales a la ecuaci´on de HJB. Bajo este contexto, la ecuaci´on HJB puede tener mas de una soluci´on y la funci´on de valor es una de ellas.
Durante los mismos a˜nos, Crandall & Lions (1983) trabajaron con la idea de una soluci´on viscosa para las ecuaciones de HJ de primer ´orden. Lions (1982), independiente- mente, aplic´o por una parte la teor´ıa de soluciones viscosas a problemas de control ´optimo determin´ıstico y, por otra, investig´o las ecuaciones de segundo ´orden degeneradas de HJ usando la teor´ıa desarrollada por Feynman-Ka˘c, representando la soluci´on de la ecuaci´on diferencial parcial de segundo ´orden por las funciones de valor de algunos problemas de control ´optimo estoc´astico.
Jensen (1988) fue el primero en encontrar una ecuaci´on diferencial parcial que probara la unicidad de la soluci´on viscosa para las ecuaciones de HJB de segundo ´orden, usando la t´ecnica de aproximaciones semiconvexas/semiconcavas. Mas tarde, Ishii (1989) propuso una nueva prueba. Estos resultados ofrecieron, al fin, un fundamento riguroso para el m´etodo de la programaci´on din´amica.4
Por ´ultimo, como sabemos para la resoluci´on de un problema de control ´optimo deter- min´ıstico una forma natural de aplicar el m´etodo de programaci´on din´amica es el siguiente: primero, considerando un tiempo inicial y una variable de estado, definimos una funci´on de valor. Segundo, establecemos el principio de optimalidad de Bellman,5 junto con la condici´on de continuidad y de acotamiento local de la funci´on de valor. Tercero, debemos mostrar que la funci´on de valor es una soluci´on viscosa de la ecuaci´on de HJB, bas´andonos en el principio de optimalidad. Cuarto, tambi´en debemos probar que la ecuaci´on de HJB admite al menos una soluci´on viscosa. De aqu´ı en adelante, algunos otros pasos pueden ser seguidos, como la aplicaci´on del teorema de verificaci´on.
Este proceso es bastante claro, tanto que nos gustar´ıa aplicarlo a la resoluci´on de problemas de control ´optimo estoc´astico. No obstante, podemos darnos cuenta que no es trivial mantener un proceso paralelo en ambos casos, ya que los problemas determin´ısticos y estoc´asticos son bastante diferentes.6 Para manejar esto, la formulaci´on d´ebil tiene que
4 V´ease Fleming & Soner (1992) para una revisi´on mas detallada del tema.
5 El cual tiene que ser probado, ya que ´esta no es una propiedad natural. De hecho, en algunas
situaciones tales como el llamado caso no-Markoviano no se cumple.
ser considerada como una formulaci´on auxiliar, a saber, un control admisible deber´a estar contruido a partir de una qu´ıntupla (Ω,F,P, W(·), u(·)). Esto, sin embargo, aplica s´olo para el caso de coeficientes determin´ısticos (es decir, todas las funciones b, σ, f y h no dependen expl´ıcitamente de ω∈Ω).
Aunque el caso estoc´astico es muy diferente del caso determin´ıstico, seguimos un pro- ceso similar para probar unicidad. Las principales modificaciones son: (1) La aproximaci´on semiconvexa/semiconcava han sido introducidas, (2) El resultado de Alexandrov y Jensen (sobre las funciones semiconvexas/semiconcavas) se emplea y (3) La idea de Ishii (de usar completamente la informaci´on del Hessiano de una funci´on que alcanza un m´aximo local) ha sido adoptada.7
Las referencias est´andar sobre contr´ol ´optimo estoc´astico y programaci´on din´amica son Fleming & Rishel (1975), Friedman (1975) y Krylov (1980). Una exposici´on mas did´actica puede ser encontrada en el libro de Øksendal (1995). Un trabajo reciente, que incluye el uso de las llamadas soluciones viscosas para problemas de control ´optimo estoc´astico, es el que presentan tanto Fleming & Soner (1993) y Yong & Zhou (1999). Los art´ıculos cl´asicos sobre consumo ´optimo son los de Merton (1969, 1971). Los trabajos de Karatzas et al.
(1987) y Duffie (1994) tambi´en son muy ´utiles para estudiar este tema. Para la parte de intercambio ´optimo bajo restricciones y su relaci´on con la valuaci´on de derivados, est´a el trabajo de Cvitani´c (1997) y algunas referencias que en el se incluyen. Puede tambi´en usarse como referencia el art´ıculo de Cox & Huang (1989) y el libro de Korn (1997), donde se incluye una aproximaci´on a trav´es del uso de martingalas para problema de cosumo e inversi´on ´optima.