The Tulip Reforms and the beginning of the ‘Eastern Question’

La agrupación no supervisada jerárquica es otra técnica de CNS. Esta técnica, en vez de crear una única partición en el conjunto de datos, crea una sucesión encajada de particiones cuya estructura puede ser representada por medio de un árbol.

En la figura 2.8 se clasifica un conjunto con cinco objetos. Las hojas del árbol representan clases conteniendo los objetos a clasificar, cada nodo interno representa una clase que contiene a todos los objetos que se encuentran en la hoja de dicho nodo. La raíz representa a la clase que contiene a todos los objetos del conjunto. Al lado de cada nodo se encuentra un número que representa el “grado” al que se han juntado dichas clases y será llamado altura.

w1 w2 w3 w4 w5 2

6 5 10

Es posible cortar el árbol de forma que se obtenga una clasificación para cada número K (K=1,2,….n) de clases diferentes. Así si cortásemos el árbol a un tercer nivel, como en el gráfico anterior, obtendríamos las siguientes clases (ver figura 2.9):

C1= {w1}, C2= {w2,w3}, C3= {w4,w5}

Los algoritmos jerárquicos se caracterizan por generar una estructura de árbol (llamada “dendograma”). Cada nivel es un agrupamiento posible de los objetos de la colección [Jain, Murty, Flinn, 1999], cada nodo del árbol es un grupo de elementos. La raíz del árbol se compone de un sólo grupo que contiene todos los elementos. Cada hoja del árbol es un grupo compuesto por un sólo elemento.

En los niveles intermedios, cada nodo del nivel n es dividido para formar sus hijos del nivel n + 1. Las figuras 2.10 y 2.11 ilustran estos conceptos mediante un ejemplo:

A E C F B D ABCDEF ACEF BD ACEF B D AE FC B D A E FC B D A E F C B D A E F C B D

Figura 2.10: Posible colección de objetos en un espacio de 2 dimensiones

w1 w2 w3 w4 w5 2

6 5 10

Figura 2.9: Corte en el árbol para obtener un número de clases

Los algoritmos de agrupamiento jerárquicos fueron uno de los primeros enfoques usados para los problemas de agrupación de documentos, y todavía se siguen utilizando debido a la forma simple e intuitiva en la que trabajan [Dash, Liu, 2001]. De acuerdo a la metodología que aplican para obtener el dendograma, los algoritmos jerárquicos pueden dividirse en aglomerativos ó divisivos [Han, Lamber, Tung 2001].

Los métodos aglomerativos parten de las hojas del árbol, ubicando a cada elemento en su propio grupo, y en cada paso buscan los pares de grupos más cercanos para juntarlos. Los divisivos, por su parte, hacen el camino inverso. Comenzando en la raíz, en cada paso seleccionan un grupo para dividirlo en dos, buscando que el agrupamiento resultante sea el mejor de acuerdo a un criterio predeterminado. El análisis necesario para pasar de un nivel a otro (decidir qué grupo dividir o cuales juntar) es más sencillo para los métodos aglomerativos [Dash, Liu, 2001], y esto hace que éstos sean más utilizados que los divisivos [Fasulo, 1999]. A continuación comentamos ambos algoritmos, dando más énfasis a los algoritmos aglomerativos.

Las distintas variantes de algoritmos jerárquicos aglomerativos difieren únicamente en la manera de determinar la semejanza entre los grupos al seleccionar los dos grupos más cercanos [Qin He, 1996],[Jain, Murty, Flinn, 1999],[Fasulo 1999]. En nuestro caso debe notarse la diferencia entre medidas de semejanza entre documentos y medidas de semejanza entre grupos de documentos. La similitud de dos grupos se calcula en base a los valores de semejanza existentes entre sus documentos, pero hay diversas posibilidades de entender la semejanza. Los distintos algoritmos jerárquicos aglomerativos se distinguen por la medida de semejanza entre grupos que utiliza cada uno. Así, por ejemplo en la figura 2.12 se presenta un espacio bidimensional en el cual se han colocado 4 grupos de objetos, los objetos de un mismo grupo se han representado mediante el mismo símbolo (x, *, # , +).

Las figuras 2.13, 2.14 y 2.15 muestran cómo los métodos pueden diferir entre ellos al seleccionar cuáles son los grupos más semejantes. En las figuras se utiliza la distancia euclideana como medida de semejanza entre los documentos; la disposición presentada de los grupos se ha elegido especialmente para provocar las diferencias, si los grupos están suficientemente separados.

+ + + X X X X # # # # # * * * * * * * * * * * *

x

El método de enlace simple, también llamado “del vecino cercano” (“nearest neighbour”), calcula la semejanza entre dos grupos como la semejanza entre los dos elementos más cercanos de ambos (figura 2.13). Este método es eficaz cuando los grupos tienen formas irregulares, pero es muy sensible a la existencia de elementos dispersos que no forman parte de ningún grupo definido, llevando a la creación de grupos alargados compuestos de objetos disímiles.

x

En el extremo opuesto del método de enlace simple se encuentra el método de enlace completo, que calcula la semejanza entre dos grupos usando la semejanza de los dos elementos más lejanos (figura 2.14). De esta manera, el método no sufre del efecto de “encadenamiento”, y encuentra con eficacia grupos pequeños y compactos. Sin embargo, cuando los grupos no están bien definidos, puede llevar a la creación de grupos sin significado.

+ + + X X X X # # # # # * * * * * * * * * * * * + + + X X X X # # # # # * * * * * * * * * * * *

Figura 2.13: Distancias al grupo de las “X” según el método de enlace simple. (La distancia entre los grupos más cercanos está remarcada).

Figura 2.14: Distancias al grupo de las “X” según el método de enlace completo (La distancia entre los grupos más cercanos está remarcada).

x

A mitad de camino entre los dos métodos anteriores, el algoritmo de enlace promedio define a la semejanza entre dos grupos como el promedio de las semejanzas de cada miembro de uno con cada miembro del otro (figura 2.15).

Al tomar propiedades de los métodos de enlace simple y completo, éste algoritmo obtiene resultados aceptables en un rango de situaciones más amplio [Cole, 1998].

Los algoritmos divisivos se caracterizan por construir el árbol en dirección contraria a la utilizada por los aglomerativos. Comienzan con una sola clase en la que se encuentran todos los objetos del conjunto, y en cada paso del algoritmo dividen una clase en dos, hasta que cada clase consta de un solo objeto. Al igual que con los aglomerativos, es posible dar diferentes clasificaciones, en este caso, atendiéndonos a la forma de seleccionar la clase que va a ser dividida y la forma de dividir dicha clase.

Los algoritmos divisivos han sido mucho menos utilizados que los algoritmos aglomerativos debido en principio a su complejidad computacional y la consiguiente demanda de recursos informáticos.

En un primer paso de un algoritmo divisivo habría que mirar cuales son las posibles particiones del conjunto en dos, lo que hace un total de 2n-1_-1

comprobaciones, magnitud que crece exponencialmente con el tamaño, lo que es imposible realizarlo para conjuntos de un tamaño relativamente grande. Por esta razón los algoritmos divisivos han recogido menos estudios e interés por parte de los investigadores. + + + X X X X # # # # # * * * * * * * * * * * *

Figura 2.15: Distancias al grupo de las “X” según el método de enlace promedio (La distancia entre los grupos más cercanos está remarcada).

Para realizar la división se van pasando objetos de la clase a dividir a la nueva clase que se crea, la nueva clase comienza con el objeto más disimilar a todos los de la clase, y continúan uniéndose objetos siempre que su disimilaridad con los objetos que restan en la clase inicial sea mayor que la disimilaridad con la nueva clase. Para determinar cual es el objeto más disimilar a los de la clase, se utiliza alguna distancia entre un objeto y una clase.

Finalmente, considerando todos los métodos estudiados, podemos observar que los algoritmos de agrupación estudiados, tanto particionales como jerárquicos del tipo aglomerativo o divisivos, tienen un defecto: Son métodos de optimización local. En cada paso del algoritmo se elige la mejor opción, lo que significa que por su construcción, éste nos puede llevar hacia un óptimo local, con cualquier criterio que se esté utilizando. Es por ello por lo que tras examinar todos los conceptos revisados y comentados en este apartado, el presente trabajo propone un método de optimización global que usando criterios evolutivos tenga como resultado realizar un agrupamiento de documentos de manera no supervisada.