4.5 Experiments on Multi-Label Classification with Clustering
4.5.2 Experimental Results for Multi-Label Classification with Clustering
4.5.2.2 The Effect of the Clustering Algorithms
Consideremos el mapa de la Figura 6.9 que muestra una región de la ciudad de Madrid. El target, es decir, el objeto señalado por la flecha roja, es una iglesia, como se puede ver en la leyenda ubicada a la derecha del mapa.
Figura 6.9: Imagen del corpus ZOOM con target singular. Se muestran las probabilidades de uso de las palabras en la esquina inferior derecha.
En la parte inferior derecha de la imagen se muestran las probabilidades de uso, las cuales fueron aprendidas desde el corpus, como se describe en el Capítulo 4. Estas probabilidades no estaban en la imagen mostrada a los participantes que completaron el experimento de recolec- ción de corpus, se agregaron a la imagen para ilustrar la discusión de esta sección.
En la Tabla 6.5 se muestran las 10 expresiones referenciales más frecuentes generadas por las personas que participaron en la recolección del corpus para el mapa de la Figura 6.9. Se indica el porcentaje de personas que dieron cada tipo de ER, es decir la cantidad de distintas personas que independientemente decidieron usar la misma ER3para referirse al target, dividido por la cantidad total de ERs del mapa (se da en porcentaje). Estas 10 ERs más frecuentes acumulan el 78.5% del total de las ERs del corpus para el mapa considerado. También se indica sin son subespecificadas (SubE) o sobreespecificadas (SobreE). Notar que las que no son ni subespecificadas, ni sobreespecificadas, son minimales. Para ejecutar el algoritmo necesitamos definir el vocabulario del modelo, es decir las palabras que vamos a usar al correr el algoritmo, la semántica del mismo. Estas palabras fueron sacadas de la anotación del corpus, el cual está anotado en inglés.
ERs del corpus ZOOM para el target church1 % SubE SobreE
1 Iglesia 19.7% X
2 Iglesia en la calle de Santo Tomás 18.5%
3 Iglesia en la calle de Santo Tomás frente al Ministerio de Asuntos Exteriores 13.6% X 4 Iglesia frente al Ministerio de Asuntos Exteriores 13%
5 Iglesia en la calle Santo Tomás cerca del Ministerio de Asuntos Exteriores 2.5% X
6 Iglesia en la calle de Atocha 2.5%
7 En calle de Santo Tomás 2.5% X
8 Iglesia que está en la calle de Santo Tomás y Atocha, frente al 2.5% X Ministerio de Asuntos Exteriores
9 Iglesia que está en la calle de Santo Tomás y Atocha 2.5% X 10 Iglesia cerca del Ministerio de Asuntos Exteriores 1.2%
Tabla 6.5: Las 10 ER más frecuentes del corpus para el mapa de la Figura 6.9.
Para calcular las probabilidades de uso usamos el método presentado en el Capítulo 4, cuando se tiene un corpus disponible para la escena considerada. Se tuvieron en cuenta las ERs que dieron las personas, incluso las que eran subespecificadas, pero no las que no eran ciertas, un total de 63 ERs fueron las que cumplían con esas condiciones. Para cada palabra de las que aparecía en el corpus para el contexto seleccionado, las cuales son: {church, in, front, near, minAsExt, calleSantoTomas, calleAtocha} se contó la cantidad de veces que aparecía la palabra en el corpus, teniendo en cuenta que si aparecía 2 veces en la misma ER se contaba sólo 1 vez, a fin de tener siempre probabilidades entre 0 y 1, y luego se dividió sobre 63 que fueron la cantidad de ERs que eran válidas. Por ejemplo la palabra church apareció en 61 ERs, por lo tanto la probabilidad de church es 61/63 = 0.97. Y así se calculó para las demás palabras del vocabulario. Las probabilidades de uso de las palabras se muestran en la esquina inferior derecha del mapa de la Figura 6.9. En la Figura 6.10 se muestra el modelo relacional que usamos como input del algoritmo. A fines ilustrativos, el modelo representa sólo la parte del mapa que está al sur de la calle Atocha.
La iglesia target se representa como church1 y la iglesia distractora como church2. La iglesia target se encuentra near y front a el minAsExt el cual tiene identificador min1. Está in calleAtocha e in calleSantoTomas. El objeto d, representa la construcción no identificada en el mapa que está al frente de church2. Recordemos que el algoritmo es no-determinístico, así que si lo ejecutamos muchas veces, vamos a conseguir posiblemente diferentes ERs para el mismo input. Teniendo así como resultado un ranking de ERs. Ejecutamos el algoritmo 1000 3Por la misma ER nos referimos a una ER con la misma semántica. Posibles divergencias gramaticales o léxicas en la realización fueron unificadas.
str17 street str12 calleDeElSalvador str16 calleDeLaCruz str10 calleSantoTomas min1 building minAsExt church1 church church2 church rest3 restaurante medinaM ayrit str9 calleAtocha rest4 restaurante d str15 calleDeCarretas Front,Near In In In Front,Near Near Near In Front,Near In In In In In In In In
Figura 6.10: Modelo relacional del mapa de la Figura 6.9.
veces, con input el modelo mostrado en la Figura 6.10 y las probabilidades dadas en la esquina inferior derecha de la misma figura. Se muestran las posibles realizaciones de las 10 fórmulas más frecuentes generadas para el target church1, y la frecuencia dada por el algoritmo en la Tabla 6.6.
ER generadas por el algoritmo para el target church1 # %
1 Iglesia en la calle de Santo Tomás 308 30.8
2 La que está frente al Ministerio de Asuntos Exteriores 223 22.3
3 Iglesia en la calle de Atocha 87 8.7
4 La que está cerca al Ministerio de Asuntos Exteriores 94 9.4 5 Iglesia frente al Ministerio de Asuntos Exteriores 136 13.6 6 Iglesia que está en la calle de Santo Tomás y que tiene algo al frente 53 5.3 7 Iglesia que tiene cerca algo que está en la calle Santo Tomás 13 1.3 8 Iglesia que está al frente de algo que está en la calle Santo Tomás 11 1.1 9 Iglesia cerca del Ministerio de Asuntos Exteriores 6 0.6 10 En calle de Atocha y que está al frente del Ministerio de Asuntos Exteriores 1 0.1 Tabla 6.6: Posibles realizaciones de las 10 ER más frecuentes dadas por el algoritmo para el modelo de la Figura 6.10, para el target church1.
Notar que de los 10 tipos diferentes de ERs que más dieron las personas (que se muestran en la Tabla 6.5), 2 son subespecificadas. Al ser subespecificadas, el algoritmo no las generó.
La ER que identifica unívocamente más frecuente dada por las personas, también fue la más frecuente dada por el algoritmo como se muestra en la Tabla 6.7. Obtenemos una exactitud (E) total de 34.6% como se muestra en la Tabla 6.7.
ERs para el targetchurch1 Frec. Frec-Alg E
1 Iglesia 19.7% - -
2 Iglesia en la calle de Santo Tomás 18.5% 30.8% 18.5%
3 Iglesia en calle de Santo Tomás frente al Ministerio de Asuntos Exteriores 13.6% 0% 0% 4 Iglesia frente al Ministerio de Asuntos Exteriores 13% 13.6% 13% 5 Iglesia en calle Santo Tomás cerca del Ministerio de Asuntos Exteriores 2.5% 0% 0%
6 Iglesia en la calle de Atocha 2.5% 8.7% 2.5%
7 En calle de Santo Tomás 2.5% - -
8 Iglesia que está en la calle de Santo Tomás y Atocha, frente al 2.5% 0% 0% Ministerio de Asuntos Exteriores
9 La iglesia que está en la calle de Santo Tomás y Atocha 2.5% 0% 0% 10 Iglesia cerca del Ministerio de Asuntos Exteriores 1.2% 0.6% 0.6%
Totales 69.5% 53.7% 34.6%
Tabla 6.7: Comparación de las 10 ERs más frecuentes del corpus y las dadas por el algoritmo.
Consideramos que el algoritmo no generó la ERla iglesia que está en la calle de Santo Tomás y Atocha, frente al Ministerio de Asuntos Exteriorespor ser ésta una ER muy sobreespecificada. Nuestro algoritmo termina antes, consiguiendo una ER y no sobreespecifica lo suficiente como para dar esta ER (recordemos que sobreespecifica sólo en el primer ciclo). De forma similar, la ERla iglesia en la calle de Santo Tomás frente al Ministerio de Asuntos Exterioresse genera con baja frecuencia porque la probabilidad que tiene el algoritmo de elegir todas esas propiedades a la vez es muy baja. Otra ER que el algoritmo no generó es la iglesia que está en la calle de Santo Tomás y Atocha. Esta ER no está tan sobreespecificada pero calleAtocha tiene una probabilidad de uso muy baja de 0.06.