En esta secci´on se hace una breve comparaci´on de los diferentes tiempos de c´omputo de- mandados por los algoritmos en el entrenamiento. La tabla 3.4 muestra los valores obtenidos para cada uno, en segundos, de acuerdo a los tama˜nos variables del conjunto de entrenamiento empleados. Los modelos fueron entrenados con un procesador Intel Core i5, de s´eptima genera- ci´on y 2.50 GHz, con 8 GB de memoria RAM. Adem´as, las redes neuronales fueron entrenadas con una placa de video NVIDIA GeForce 940MX. Se observa que el tiempo de c´omputo se incrementa conforme lo hace el n´umero de trials usado en el entrenamiento; pero, las mayores diferencias de tiempo requerido se observan entre los diferentes clasificadores entre s´ı. A medida que aumenta su complejidad, se incrementa el tiempo de entrenamiento: los valores m´as bajos se obtuvieron para los clasificadores lineales, en particular para el LDA; mientras que los mas altos los presentaron las redes neuronales. De ´estas, la que mayor tiempo de entrenamiento demand´o fue la CCNN y, la que menor, el MLP.
Tabla 3.4: Tiempo de c´omputo de los clasificadores respecto del n´umero de trials usados en el entrenamiento1 Modelo ´ Epocas de caracteres N´umero de trials 3 6 9 12 15 LDA 1 0,008 0,01 0,013 0,016 0,021 50 0,4 0,5 0,65 0,8 1,05 LinearSVM 1 0,009 0,034 0,079 0,151 0,252 50 0,45 1,7 3,95 7,55 12,6 GaussianSVM 1 0,01 0,057 0,134 0,198 0,378 50 0,5 2,85 6,7 9,9 18,9 MLP 1 2,932 2,416 2,486 2,537 3,658 50 146,6 120,8 124,3 126,85 182,9 CCNN 1 5,813 3,935 4,57 4,734 7,24 50 290,65 196,75 228,5 236,7 362 OCLNN 1 4,267 4,302 3,159 3,794 4,659 50 213,35 215,1 157,95 189,7 232,95 TSMCNN 1 4,219 3,245 3,494 3,516 4,97 50 210,95 162,25 174,7 175,8 248,5
1Tiempo de c´omputo expresado en segundos. En negrita se resaltan los menores y mayores tiempos de c´omputo obtenidos en el entrenamiento con 50 caracteres para cada uno de los n´umeros de trials usados.
3.3.2.
Comparaci´on del desempe˜no de los sujetos de referencia y
boostrap
Las figuras 3.8 y 3.9 muestran el desempe˜no de los algoritmos lineales y no lineales (redes neuronales), demostrado en la predicci´on de caracteres durante la simulaci´on online. Se com- paran los diferentes resultados obtenidos para los sujetos de referencia A0 y B0 respecto del promedio de los sujetos bootstrap. Para estos, los puntos en las gr´aficas representan el promedio de los puntajes obtenidos, y las l´ıneas verticales su correspondiente desviaci´on est´andar.
No se observa una variabilidad importante en los puntajes obtenidos para los sujetos boots- trap entre s´ı, en los diferentes tama˜nos de entrenamiento evaluados mediante los distintos clasificadores. Por otra parte, se puede apreciar que, en general, no existe una diferencia im- portante en el desempe˜no logrado por los sujetos de referencia respecto del logrado por los bootstrap; a excepci´on del LDA. ´Este, fundamentalmente para el sujeto A, present´o resultados notablemente superiores para el sujeto de referencia en los modelos entrenados con 3, 6 y 9 trials. En la mayor´ıa de los casos para los dem´as clasificadores, si bien peque˜na, esta diferencia se mostr´o a favor de los sujetos de referencia. Es decir, estos obtuvieron un puntaje ligeramente superior al de sus respectivos sujetos bootstrap. Esta diferencia se hace m´as pronunciada para los modelos entrenados con un n´umero bajo de trials (3 y 6). Para tama˜nos de entrenamiento superiores, la diferencia se torna pr´acticamente despreciable. Son excepcionales aquellos casos en que los sujetos bootstrap superaron al de referencia, y se dan para no m´as de uno o dos tama˜nos de entrenamiento en un mismo clasificador.
En general, se observa que los diferentes clasificadores se benefician del incremento en el n´umero de trials de entrenamiento, mostrando una curva creciente para los 3, 6 y 9 trials, y alcanzando una meseta para este ´ultimo tama˜no de entrenamiento.
Estos resultados, en comparaci´on con los mostrados en la secci´on 3.2.2 para el caso binario, tambi´en muestran que los modelos son robustos a la variabilidad de ejemplos en el conjunto de entrenamiento, y que no existe un verdadero beneficio entre entrenar los algoritmos con 50 o 60 caracteres, como es el caso de los sujetos bootstrap, y hacerlo con 85 caracteres, como los sujetos de referencia. Por otra parte, no se observ´o una correlaci´on entre los resultados obtenidos durante la clasificaci´on binaria para el SVM gaussiano y el LDA, y los obtenidos durante la predicci´on de caracteres. Mientras que, para el caso binario, el LDA no mostraba diferencias notorias entre los resultados obtenidos por los sujetos bootstrap y los de referencia; durante la predicci´on de caracteres s´ı demostr´o una diferencia apreciable. Al contrario, el SVM gaussiano mostraba una diferencia creciente entre el sujeto de referencia y los boostrap durante la clasificaci´on binaria; pero en la simulaci´on online no demostr´o entre estos una diferencia apreciable. Esto puede deberse al hecho de que, durante esta ´ultima, se suman las probabilidades de pertenencia a cada clase obtenidas para cada instancia de intensificaci´on de las diferentes filas y columnas. En consecuencia, puede suceder que entre ellas se aten´uen o acent´uen las diferencias observadas durante la clasificaci´on binaria, produciendo un efecto diferente en la predicci´on de caracteres.
(a) (b)
(c) (d)
(e) (f)
Figura 3.8: Comparaci´on de la exactitud obtenida por los diferentes clasificadores lineales, tras 15 trials de simulaci´on, para los sujetos de referencia A0 y B0, en comparaci´on con sus respecti- vos sujetos bootstrap. La comparaci´on se realiza para los diferentes tama˜nos de entrenamiento evaluados. A la izquierda se presentan los resultados correspondientes a los sujetos A (A0 y promedio de los bootstrap); a la derecha los correspondientes a los sujetos B (B0 y promedio de los bootstrap). La primera fila, figuras (a) y (b), corresponde al clasificador LDA; la segunda fila, figuras (c) y (d), corresponde al SVM lineal; y la tercera fila, figuras (e) y (f), corresponde al SVM gaussiano.
(a) (b)
(c) (d)
(e) (f)
(g) (h)
Figura 3.9: Comparaci´on de la exactitud obtenida por las diferentes redes neuronales (clasi- ficadores no lineales), tras 15 trials de simulaci´on, para los sujetos de referencia A0 y B0, en comparaci´on con sus respectivos sujetos bootstrap. La comparaci´on se realiza para los diferentes tama˜nos de entrenamiento evaluados. A la izquierda se presentan los resultados correspondien- tes a los sujetos A (A0 y promedio de los bootstrap); a la derecha los correspondientes a los sujetos B (B0 y promedio de los bootstrap). La primera fila, figuras (a) y (b), corresponde al MLP; la segunda fila, figuras (c) y (d), corresponde a la red CCNN; la tercera fila, figuras (e) y (f), corresponde a la red OCLNN; y la cuarta fila, figuras (g) y (h), corresponde a la red TSMCNN.