Como ya se comentó en el apartado de diseño son muchas las maneras de comprobar el funcionamiento del sistema. En este caso se ha contado con una galería de 300 imágenes de 100 logotipos diferentes, es decir, tres imágenes por logotipo. Para realizar el entrenamiento del sistema se han utilizado dos imágenes para cada logotipo y para la comprobación del funcionamiento se han utilizado las 100 restantes. A continuación se observa una muestra de alguna de las imágenes que compondrán el grupo de entrenamiento.
Imagen 31 - Imágenes de entrenamiento.
Para realizar de distintas formas el test de reconocimiento se han dividido estas 100 imágenes en ocho grupos diferentes:
- 13 imágenes individuales. Se han utilizado los logotipos aislados, para comprobar el funcionamiento del sistema ante imágenes individualizadas y sin posibles confusiones.
- 11 imágenes con cambios de escala. Imágenes con ampliaciones o reducciones para comprobar el funcionamiento ante este tipo de cambios.
- 13 imágenes con giros de menos de 30 grados. Como se hablaba en el apartado del Algoritmo SIFT, este tipo de prueba fue una de las que llevaron a la conclusión de que el sistema trabajaba mejor con giros menores de 30 grados, y por lo tanto es un buen método para probar la eficiencia de nuestro reconocedor.
- 12 imágenes con giros mayores de 30 grados. Se debe comprobar el grado de aciertos y fallos con ese tipo de rotaciones.
- 13 imágenes con distinta iluminación. Jugando con el brillo y el contraste de las imágenes de entrada se realizará este testeado del sistema para observar su funcionamiento.
- 13 imágenes ocluidas. Se utilizarán distintos grados de oclusión para comprobar el sistema ante este tipo de imágenes.
- 7 imágenes múltiples. Se comprobará si el sistema es capaz de detectar todos los logotipos (2 por imagen).
- 11 imágenes en contexto. Se han realizado una serie de inclusiones de los logotipos en distintos escenarios, para observar el comportamiento del sistema en escenarios reales con imágenes complejas.
Imagen 32 - Carpetas de imágenes de test.
Para el reconocimiento de los distintos grupos de imágenes, se realizará una comprobación de tres valores, que podrán definir cuán bueno (o malo) es el sistema implementado. Para ello se usarán tres variables: True Positives (TP), que son los aciertos del sistema en el proceso de reconocimiento; False Positives (FP), que definirán las equivocaciones que tiene el reconocedor apuntando a logotipos que realmente no están presentes en la imagen; False
Negatives (FN), que serán aquellas omisiones de marcado de los logotipos que están en la
valores TP, FN y FP asociados a cada uno de ellos. Después se realizará un sumatorio de todas las variables para obtener los valores globales para cada una de las categorías.
Los resultados se expresarán en las llamadas “Tablas de contingencia”. En ellas habrá cuatro cuadrantes en los que se colocarán los resultados obtenidos (True Positives, False Positives y
False Negatives), los denominados True Negatives no se utilizarán, pues es absurdo considerar
que el sistema acierte cuando no marque ningún logotipo que no aparezca. Como cabe esperar, se desearán obtener unos niveles de True Positives muy altos y de False Positives y False Negatives muy bajos. El aspecto de las tablas es el que se muestra a continuación.
Tabla 1 - Modelo de Tabla de Contingencia.
A partir de la tabla de contingencia se podrán obtener tres valores que detallarán de forma fiable los resultados obtenidos. Estos valores se denominarán:
- Precisión (P). De todos los logotipos que el sistema devuelve qué porcentaje de ellos
aparecen verdaderamente en las imágenes de entrada. La fórmula para calcular este valor será la siguiente:
𝑃 =
𝑇𝑃+𝐹𝑃𝑇𝑃(23)
- Cobertura (Recall (R)). Qué porcentaje de logos se obtienen respecto a los que debería
obtener. La fórmula asociada al cálculo de este valor es:
𝑅 =
𝑇𝑃+𝐹𝑁𝑇𝑃(24)
- Medida-F1 (F1). Es la ponderación entre los dos valores anteriores. Se calcula de la
siguiente manera:
𝐹1 =
2·𝑃·𝑅𝑃+𝑅
(25)
Se utilizará el método recognizeDirectory para realizar un reconocimiento automatizado y se realizarán cambios en distintos umbrales y métodos para la comprobación del funcionamiento
del sistema. Los dos umbrales que se utilizarán en este caso serán: el que define el filtro de resultados aceptados tras el proceso de la búsqueda de coincidencias (results.scores deberá ser menor que ese umbral) y el que determina qué porcentaje de puntos clave aceptados para cada imagen debe tener para considerar que un logotipo aparece en dicha escena.
El sistema tarda en comparar la imagen con cada una de las que están almacenadas en el entrenamiento una media de 0,3 segundos, por lo que dependiendo del número de imágenes contenidas en cada tipo de escenas a reconocer se tardará más o menos.
Se realizarán cinco pruebas distintas, en las que se calcularán los valores medios de las tres variables (P, R y F1) obtenidos para comprobar los resultados de una forma directa. Estas pruebas se nombrarán con letras de la A a la E para pintar los resultados obtenidos en una gráfica. La equivalencia de las letras y las pruebas se expondrá en el apartado de Conclusiones.