Estos métodos de segmentación, también, han sido empleados en la práctica para detectar regiones de objetos que están constituidos por más de un componente, y cuya unión de componentes forman un montaje u objeto ensamblado [Gil-2005a]. En estos casos, la detección de los objetos y de sus componentes a partir de imágenes en color, en escenarios en los que se requiere una manipulación por un robot, por ejemplo en tareas de desensamblado, aun es más compleja. Ya que pueden producirse mayores situaciones de oclusión entre componentes de un mismo objeto, unos objetos solapan otros, y a su vez estos solapamientos y ensamblados, determinaran una secuencia de desensamblado [Torres-2004]. Aquí, se muestran dos experimentos sencillos:
Experimento 1: Circuito básico formado por tornillos, cableado de distintas polaridades, conectores eléctricos donde insertar clavijas, y una placa base sobra la que se monta el circuito.
Capítulo 4. Detección de oclusiones
-95-
Experimento 2: Se trata de dos objetos, uno de ellos formado por un cable de bus IDE con varios conectores y que a su vez solapa un segundo objeto que prácticamente no deja ver.
A continuación, se muestra el resultado de aplicar las segmentaciones multinivel RGB y HSV, y la mejora que aporta la segmentación combinada con el empleo de histogramas bidimensionales V/S. Este método de segmentación combinado constituye una de las principales aportaciones de esta Tesis. Las mejoras que se experimentan en el proceso de segmentación color con este método han sido publicadas con éxito [Gil-2004] [Gil-2005a].
Para entender y determinar la mejora que la segmentación combinada aporta, primero se hace un análisis de cada una de las dos escenas construyendo el histograma V/S para cada experimento (Figura 4-17).
En el primer caso, predominan una gama de colores de muy diversas saturaciones, desde colores muy puros, hasta colores con bajas saturaciones que determinan colores apagados o de falta de cromaticidad.
En el segundo caso, predominan los colores apagados, con saturación baja, lo que indica que hay una falta de cromaticidad en la imagen, predominando los grises o acromáticos. Si se analizara, el histograma V/S sin conocer la escena, se podrían suponer dos situaciones: La imagen está tomada en malas condiciones de iluminación, las sombras y/o los brillos predominan en la imagen de la escena. O por otro lado, se podría suponer que la imagen está bien tomada, pero predominan los objetos con colores acromáticos o tonos grisáceos.
Figura 4-17: Histogramas bidimensionales VS para el espacio de color HSV.
Una vez comentado brevemente el análisis del histograma bidimensional V/S, en ambos experimentos, se comentan los resultados de aplicar varias segmentaciones. Primero, en la figura 4-18, se muestra el resultado de tomar la imagen del montaje (Figura 4-18.a), y someterla a un proceso de umbralización para cada una de las tres componentes de color RGB. Se han empleado 3 umbrales por cada una de las tres componentes. De modo, que se han detectado hasta 4 regiones distintas por componente (Figura 4-18.b). Si se vuelve a componer la imagen en color RGB a partir de las
max
s
v
max 0s
v
max 0s
max sombras brilloss
Colores purosv
max max 0s t Colores apagados Intensidad media-alta Intensidad media-bajaumbralizaciones se obtiene una imagen RGB segmentada (Figura 4-18.c). Sin embargo, el resultado obtenido como se puede observar no es muy bueno, y sigue apareciendo una sobresegmentación en la imagen segmentada como consecuencia del excesivo número de umbrales empleados, que en este caso provocan partir la imagen hasta en 64 regiones. Esta sobresegmentación, se produce principalmente, por los cambios de luminancia en algunos colores, como consecuencia de que la luz no incide de igual modo sobre cada componente del montaje, aun siendo este del mismo color, provocando una sensación de falta de homogeneidad.
Figura 4-18: a) Experimento 1: Montaje. b) Umbralización. c) Segmentación RGB. d) Clusterización RGB. Por lo tanto, como se ilustró en el método (Apartado 4.1.1.1) se aplica un proceso de clusterizado consistente en fusionar las 64 regiones, en un número más significativo que defina mejor cada uno de los componentes del montaje. Así, se busca agrupar regiones segmentadas que por iluminación, suciedad en la pieza, o por sombras provocadas por otros componentes del montaje, aparecen como distintas cuando realmente forman parte de un mismo componente del montaje. Sin embargo, el proceso de clusterizado empleado, también, puede provocar que algunas regiones se fusionen con otras desvirtuando la segmentación (Figura 4-18.d). En este caso las características y los parámetros escogidos en el proceso de clusterizado han fusionado una componente del montaje con el fondo de la escena, y por otro lado, ha dejado sin fusionar algunas regiones de sombras y brillos, que las ha considerado como otros componentes del montaje.
a) b)
Capítulo 4. Detección de oclusiones
-97-
Como alternativa se aplica la segmentación HSV a la imagen del montaje del Experimento 1, empleando el mismo esquema de segmentación: umbralizado, segmentado y clusterizado; pero teniendo en cuenta que las tres componentes de color: matiz, saturación y luminancia, ya no aportan el mismo grado de información, y ni siquiera se comportan de modo similar ante las mismas situaciones de iluminación, ambientales, etc.
Si se aplica un proceso de umbralizado a cada componente (Figura 4-19.b), se observa que la componente de luminancia proporciona regiones menos uniformes y más dispersas que las otras dos componentes. Esto es debido a que es la que tiene una fuerte dependencia de brillos y sombras. La componente del matiz, junto con la componente de saturación, determina el grado de color en la imagen, y en este caso las regiones detectadas son más homogéneas. Aunque, el número de umbrales empleado vuelve a proporcionar regiones no deseadas. Si se compone la imagen HSV y se somete a un proceso de clusterizado por matiz (Figuras 4-19.c y 4-19.d), se observa que aunque en este caso han quedado bien definidos los componentes que determinan el montaje, hay ciertas peculiaridades no deseables que cabría destacar.
Figura 4-19: a) Experimento 1: Montaje. b) Umbralización. c) Segmentación HSV. d) Clusterización por matiz. Un análisis e interpretación de la imagen segmentada muestra que la segmentación HSV se ve influenciada en menor grado por los brillos y sombras, principalmente proporcionados por la componente de la luminancia; aunque no solucionan el problema por completo, ya que las otras
a) b)
componentes también se pueden ver influenciadas aunque en menor medida. Además, el empleo únicamente de la componente de matiz para clusterizar regiones, evita que pueda aparecer una sobresegmentación posterior y se salvaguarde la influencia de los brillos y sombras recogidos registrados en la componente de luminancia. Por otro lado, el evitar el empleo de la componente de luminancia en el proceso de segmentación y clusterizado HSV, conlleva no sólo ventajas sino también algunos inconvenientes, como la imposibilidad de detectar las regiones de algunos componentes del montaje. Este es el caso, de las piezas en escala de grises presentes en el experimento 1. En las figuras 4-19.c y 4-19.d se puede observar que a pesar de que placa, cableados y conectores han sido detectados, otro tipo de piezas como los tornillos y elementos de anclaje, que son piezas metalizadas y que en la imagen responden a zonas acromáticas o colores grisaceos, se han visto eliminados. Además, y como ya se comentó anteriormente, el hecho de trabajar con las componentes desacopladas de HSV hace que se pierda generalidad de la información provocando colores poco realistas en la imagen segmentada. Finalmente, se presenta en la Figura 4-20 la detección de regiones para las piezas del montaje del experimento 1 y del experimento 2, empleando una segmentación combinada RGB-HSV. Con ello, se busca tratar de aunar las virtudes de ambos espacios de color, tratando de que los problemas que ofrece uno los solvente el otro método de segmentación. Y en las Figuras 4-21, y 4-22 se muestra una representación tridimensional de cada uno de las piezas segmentadas que definen cada montaje.
Figura 4-20: a) Experimento 1: Montaje eléctrico. b) Segmentación y clusterizado RGB-HSVcombinado. c) Experimento 2. b) Segmentación y clusterizado RGB-HSV combinado.
a) b)
Capítulo 4. Detección de oclusiones
-99-
El número de regiones detectadas con 3 umbrales por componente de color han sido 16. Y finalmente, el proceso de clusterizado ha reducido el número de regiones a 6. Las piezas del montaje han quedado todas ellas detectadas correctamente, aunque en algunos casos sigue apareciendo algunas zonas influenciadas por las variaciones de luminancia que no han podido evitarse.
El empleo de las componentes del espacio HSV y el histograma bidimensional V/S se ha empleado para determinar cuáles de los umbrales obtenidos para las componentes de color RGB son válidos, y así depurar la imagen RGB. De este modo se ha permitido corregir algunas de las situaciones de iluminación, brillos en el fondo, y algunas sombras que aparecían en la segmentación RGB y al mismo tiempo se ha permitido detectar elementos como los tornillos que por sus características de color no eran detectados por la segmentación en HSV.
Aplicando el mismo procedimiento, al montaje del experimento 2, se obtiene la segmentación combinada HSV-RGB mostrada en la figura 4-22.
Figura 4-21: Experimento 1. Vistas tridimensionales de la segmentación realizada