Entre los métodos de TD, en los que la actualización de las funciones de valor se realiza en cada ejecución de la acción y los métodos de MC en los que esta actualización no se realiza hasta que no se termina una secuencia, existe un amplio rango de posibilidades tal y como se muestra en la siguiente figura (Sutton and Barto 1998; Fernández 2002).
Figura 23. Espectro de posibilidades desde los TD tradicionales hasta Monte Carlo.
Fuente: (Sutton and Barto 1998) InicializaQ(s,a) arbitrariamente
Repite (para cada episodio): Inicializa s
Repite (para cada episodio):
Elige a de s usando la política derivada de Q (e.g. ) Toma una acción a, observarr, s’
Q s ← s’; a ← a’
hasta que s sea terminal
50 En la figura se muestra como los métodos de TD tradicionales son métodos de un único paso, en el sentido de que cada vez que se realiza una acción y se lleva a un estado nuevo, se realiza una actualización de las funciones de valor. En el lado opuesto, se encuentran los métodos de MC, donde las actualizaciones se realizan al final de un intento completo de solucionar el problema. En medio se encuentran los métodos TD de n pasos, en los que las actualizaciones se realizan en función de los resultados de ejecutar n acciones. Es decir, el refuerzo con el que se actualiza la función de valor estado en un instante de t, siguiendo un método TD de n pasos es tal y como se define a continuación (Peng and Williams 1996; Fernández 2002; Morales 2011).
(51)
Cuando n es igual a 1, la función de actualización se convierte en la función típica de los métodos TD, mientras si n es igual a la longitud de la secuencia completa, se convierte en la función de actualización de los métodos de MC.
Los métodos TD( ) utilizan estas ideas, pero en vez de sumar directamente los refuerzos obtenidos en el futuro, los promedian con el factor λn-1, donde . El factor de normalización (1- ) hace que el sumatorio completo sea 1 (Sutton and Barto 1998; Fernández 2002; Martínez and de Prada 2003).
Por lo tanto la forma más siencilla de implementar esta aproximación se basa en las trazas de elegibilidad. Las trazas de elegibilidad fueron introducidas por Klopf en 1972, la idea detrás de las trazas de elegibilidad es muy simple, en cada tiempo un estado es visitado al inicio en un proceso de memoria de término corto, una traza, que luego decae gradualmente sobre el tiempo. Esta traza marca el estado como elegible para el aprendizaje. Si un inesperado evento ya sea bueno o malo, ocurre mientras la traza no es cero, entonces el estado es asignado de acuerdo al crédito. En una traza acumulativa convencional, la traza se acumula cada vez que se entró en el estado. En una traza remplazada, cada tiempo el estado es visitado, la traza es reajustada hasta 1 sin tener en cuenta de la presencia de una traza anterior. La nueva traza remplaza la vieja, como se puede ver en la siguiente figura (Singh and Sutton 1996).
51 Figura 24. Acumulación y remplazo de trazas de elegibilidad.
Fuente: (Singh and Sutton 1996)
En la práctica, más que esperar n pasos para actualizar (forward view), se realiza al revés (backward view). Se guarda información sobre los estados por los que pasó y se actualizan hacia atrás las recompensas. Se puede probar que ambos enfoques son equivalentes (Morales 2011).
Para implementar la idea anterior, se asocia a cada estado o par estado acción una variable extra, representando su traza de elegibilidad que se denota por et(s) o et(s,a). Este valor va decayendo con la longitud de la traza creada en cada episodio. Para TD( :
(52)
Para Sarsa se tiene lo siguiente:
(53)
Tiempo en el cual un estado es visitado
Traza convencional acumulada
52 Figura 25. TD (λ).
Fuente: (Sutton and Barto 1998)
Sarsa usa la e pe ie ia de ap e de las esti a io es ópti as Q-valores de las funciones pares que son mapeadas de s, a, al retorno óptimo sobre la acción tomada a en el estado s. La transición al paso de tiempo t, < st, at, rt, st+1>, es usado para cargar los Q- valores estimados de todos los pares de acciones-estados en proporción de su elegibilidad (Loch and Singh 1998). El algo it o pa a “a sa se des i e a o ti ua ió :
Figura 26. Sarsa ().
Fuente: (Sutton and Barto 1998)
El algo it o Q o i a el eto o de TD e ua ió 51 pa a u ʎ ge e al o la forma incremental del Q-learning (paso a paso) (Peng and Williams 1996; Glorennec 2000). Para este algoritmo tenemos que Las trazas de elegibilidad están definidas sobre el espacio por el producto de S x A. Las definiciones son por lo tanto poco modificadas, por ejemplo, para la traza de elegibilidad acumulada, una tiene (Glorennec 2000):
InicializaQ(s,a) arbitrariamente y e(s,a) = 0 para todos los s,a
Repite (para cada episodio): Inicializa s,a
Repite (para cada episodio):
Toma una acción a, observarr, s’
Elige a’ de s’ usando la política derivada de Q (e.g. )
Para todos los s,a: Q s ← s’; a ← a’
hasta que s sea terminal
InicializaV(s) arbitrariamente y e(s) = 0 para todos los s
Repite (para cada episodio): Inicializa s
Repite (para cada episodio): A ← acción dada por π para s
Toma una acción a, observando la recompensa r y el siguiente estados’
Para todos los s: V e
s ← s’
53
(54)
y para la sustitución de la elegibilidad:
(55)
La convergencia de Q( ) hacia Q* solo se asegura si >0. El algoritmo se muestra a continuación:
Figura 27. Q (λ).
Fuente: Sutton and Barto, 1998
Fuente: (Sutton and Barto 1998) InicializaQ(s,a) arbitrariamente y e(s,a) = 0 para todos los s,a
Repite (para cada episodio): Inicializa s,a
Repite (para cada episodio):
Toma una acción a, observarr, s’
Elige a’ de s’ usando la política derivada de Q (e.g. ) a*← argmaxb Q(s’,b) (si los a’ lazos para max, entonces a*← a’)
Para todos los s,a: Q
Si a’ = a*, entonces
Si no s ← s’; a ← a’
54