5.2. Proposed Framework
5.2.1. Proposed Strategic Framework
Con la finalidad de lograr un mejor balanceo de los datos, se realizaron diversas agrupaciones de clases y varios conjuntos de datos; con todos estos se realizaron pruebas para evaluar su precisión y poder seleccionar al conjunto con el que se obtu- vieran mejores resultados. Enseguida se describen cada uno de ellos y se explican un poco más las pruebas que se realizaron con algunos conjuntos.
Primero se dividió la base de datos en dos conjuntos; uno de entrenamiento con el 80 % de las muestras y el de prueba con el 20 % de muestras restantes, pero esto no era apropiado debido a la gran cantidad de muestras de una sola clase y las pocas muestras de otras clases, como se muestra en la Tabla 1. Después de esto, se conside- ró partir la base de datos creando nuevas muestras de aquellas clases que contenían menos componentes. Las nuevas muestras fueron creadas tomando las muestras ori- ginales y rotando las imágenes de -30 a 30 grados con una separación de 5 grados
entre cada nueva muestra, obteniendo así 12 imágenes nuevas de cada imagen, con esto nuestra base de datos aumentó a 52982 muestras. De este total se crearon varios conjuntos para el entrenamiento: el primero de 4 imágenes de cada clase, excepto por la 14 en donde solo se usó 1 imagen, el segundo de 10,000 imágenes, donde 5,000 eran de la clase 0 y las otras 5,000 eran del resto de las 15 clases, y por último, el tercero de 100 imágenes de las clase 0-13, 7 imágenes de la clase 14 y 50 imágenes de la clase 15. Para la prueba se utilizó un conjunto de 301 imágenes, tomando 20 de cada una de las clases anteriores, excepto la 14 donde se usaron 6 y de la 15 donde se usaron 15.
Tabla 2.Conjuntos seleccionados para el balanceo de la base de datos.
Clase Conjunto 1 Conjunto 2 Conjunto 3 Conjunto de prueba
0 4 5,000 100 20 1 4 1264 100 20 2 4 1351 100 20 3 4 1000 100 20 4 4 700 100 20 5 4 200 100 20 6 4 200 100 20 7 4 40 100 20 8 4 60 100 20 9 4 20 100 20 10 4 50 100 20 11 4 60 100 20 12 4 30 100 20 13 4 20 100 20 14 1 1 7 6 15 4 4 50 15 Total 61 10,000 1,457 1,332
Con estos primeros conjuntos de datos se realizaron pruebas, en las cuales se en- trenaron 2 modelos:
Primer modelo: Se usó un conjunto de 1457 imágenes, en donde se utilizaron 100 imágenes por clase (excepto la 14 donde se usaron 7 y en la 15 donde se usaron 50).
Segundo modelo: Se entrenó con 10,000 imágenes donde 5,000 de las imágenes son de las clases con dolor y la otra mitad de imágenes de la clase sin dolor.
Con los modelos creados y utilizando un conjunto de prueba de 301 imágenes, se construyó una matriz de confusión. Una matriz de confusión es una herramienta que permite la visualización del desempeño de un algoritmo que se emplea en aprendizaje supervisado. Cada columna de la matriz representa el número de las clasificaciones de cada clase, mientras que cada fila representa a las instancias en la clase real, en nuestro caso se compararon las etiquetas de la base de datos contra las clase resul- tantes del sistema en cada modelo y se obtuvieron las siguientes matrices (Figuras 12 y 13), con estas se pudo observar que con el primer modelo se obtuvo 51.16 % de precisión en las clasificaciones y con el segundo solo el 39.86 % de precisión en las clasificaciones.
Figura 12.Matriz de confusión del conjunto de 1457 imágenes.
Figura 13.Matriz de confusión del conjunto de 10,000 imágenes.
Con la finalidad de obtener mejores resultados y balancear las clases para tener conjuntos de datos más equilibrados, se continuó agrupando las clases. En uno de ellos se agrupó por similitud y cercanía en la escala PSPI, lo que comprimió las 16 clases en 4. Estas clases quedaron distribuidas como sigue: la clase 0 quedó conformada por la clase 0 del PSPI, la clase 1 por la unión de las clases 1,2, 3 y 4, la clase 2 por las clases 5,6,7,8 y 9, y por ultimo, la clase 3 por las clases 10, 11, 12, 13, 14 y 15 de la escala
PSPI, como se muestra en la Tabla 3.
Tabla 3.Agrupación de clases
Clase Cantidad de muestras en la base de datos 0 40029 1 7693 2 676 3 219 Total 48,617
Con esta agrupación de clases, se formaron diferentes conjuntos de datos de la si- guiente manera: el primer conjunto se formó con 200 imágenes de cada clase (0,1,2,3), el segundo con 200 imágenes de la clase 0, 400 de la clase 1, 500 de la clase 2 y 300 de la clase 3. Finalmente, el tercer conjunto de datos se formó con 250 imágenes de cada clase (0,1,2,3) y al igual que con los primeros conjuntos se realizaron pruebas con un conjunto de datos de 910 imágenes, pero los resultados no fueron los espera- dos, esto debido a que el des balance dentro las ultimas clases continuaba, al seguir existiendo una menor cantidad muestras.
Después de los resultados de la agrupación anterior, se reagruparon las clases con base en el trabajo de Andelin y Rusu (2015), en donde realizan el balanceo de la misma base de datos. De ahí que se crearon nuevas agrupaciones; para las clases 0, 1, 2 y 3 no hubo modificación cada una de estas se quedo como una clase, por otro lado las clases 4 y 5 se agruparon en la clase 4, y finalmente las clases 6 a la 15 quedaron como la clase 5. Al final de la reagrupación se obtuvieron 6 clases nuevas, como se ilustra en la Tabla 4. Con estas clases se crearon 3 conjuntos de datos para el entrenamiento, el primero se realizó con una muestra aleatoria de 200 imágenes de cada clase, el segundo con muestras aleatorias de 250 imágenes y el tercero con muestras de 300 imágenes de cada clase.
Tabla 4.Distribución de las imágenes de la base de datos.
Clase Cantidad de muestras en la base de datos 0 40029 1 3128 2 2351 3 1412 4 1044 5 653 Total 48,613
Los conjuntos anteriores se probaron con un conjunto de prueba de 1566 imágenes, como se observa en la Tabla 5. Se realizaron más pruebas con el conjunto de datos de 1224 imágenes de entrenamiento y los resultados obtenidos en estas pruebas se explican en el capítulo 5.
Tabla 5.Distribución de datos en clases.
Clase # muestras de entrenamiento # muestras de prueba 0 200 225 1 196 206 2 206 211 3 205 193 4 198 257 5 219 474 Total 1224 1566
En estas pruebas se observó que para poder utilizar las imágenes de la base de datos, se tenía que realizar la detección del rostro en todas las muestras y descartar aquellas imágenes en donde no detectara el rostro del sujeto, para evitar introducir falsos positivos a las muestras con las que serían entrenados los clasificadores. Por tal motivo, solo se utilizaron 27,375 muestras de las 48,613 de la base de datos, su distribución se muestra en la Tabla 6.
Tabla 6.Distribución final de las imágenes de la base de datos.
Clase Cantidad de muestras en la base de datos 0 22816 1 1736 2 1459 3 576 4 427 5 361 Total 27,375
Debido a la modificación de los datos, se utilizaron 1500 imágenes para crear el modelo que se usó en los clasificadores, y para las pruebas se usaron 1141 imágenes. Estos conjuntos de datos se utilizaron para el desarrollo del sistema, cuyos resultados se presentan en el capítulo 5.
En este capítulo se describió la base de datos seleccionada UNBC-McMaster Shoul- der Pain Expression Archive, la cual contiene videos de rostros de 25 sujetos adultos con lesiones en el hombro y en terapia física, y su distribución de las imágenes con- forme a la escala PSPI. Así mismo se describió como se seleccionaron los conjuntos de datos para el balanceo de la base de datos. Por último se muestra el conjunto que se utilizó para las pruebas y como quedó la distribución tanto de las imágenes como de las clases.
En el siguiente capítulo se presentarán los 2 componentes restantes que conforman el sistema de detección de dolor: el módulo de entrenamiento y el de clasificación, así como la descripción de los métodos que se seleccionaron para la detección del rostro, la extracción de características y los clasificadores, y el funcionamiento de cada uno.