Curse of Dimensionality and Machine Learning Methods in Causal

3.1.4.1

Definición de tests de prueba y resultados obtenidos

En primer lugar debe indicarse que la evaluación del sistema ha sido una tarea minuciosa y muy laboriosa, pero sobre todo muy complicada en cuanto a su diseño. Los precedentes de sistema de reconocimiento automático, evalúan el sistema en entornos limpios de ruido de fondo, con lo que las tasas de fallo y acierto permiten realizar un ajuste adecuado. Sin embargo, en esta tesis se pretendía evaluar el sistema para su posterior implantación en ambientes sonoros reales, contaminados, en los que los aviones pueden superar, o no, el ruido que producen el resto de fuentes sonoras. Las pruebas estarán encaminadas a la prueba del sistema como sistema de identificación, pero también como sistema de detección.

La Figura 3.19 muestra los resultados para un fichero típico de 55min de duración.

Figura 3.19 Evolución temporal del nivel sonoro y del índice ANL en un fichero de 55 min de duración

68

Los marcadores manuales, coloreados en rojo y verde se corresponden con sonidos de aviones que el técnico anotó en los registros in situ. Puede comprobarse que algunos de estos aviones (en verde) originan un importante incremento del nivel de ruido (gráfica superior). En esta imagen, se puede comprobar que el índice de semejanza los detecta, y el sistema los marca de forma automática. Sin embargo, el técnico anotó muchos otros aviones, más lejanos, cuyo ruido quedó parcialmente enmascarado por el ruido de fondo. Un ajuste del sistema automático permitiría detectar buena parte de estos aviones (obsérvense las subidas en la gráfica de ANL). Ahora bien, ¿realmente estos aviones contaminados por ruido de fondo deben ser medidos? Las pruebas del sistema se han efectuado sobre una cifra aproximada de 2500 registros sonoros etiquetados manualmente, correspondientes a 30 localizaciones, en diferentes entornos acústicos, y se han diseñado tres métodos de prueba del sistema independientes, para determinar el comportamiento del detector:

- Comprobación de eventos

- Detección de eventos frente a la relación señal a ruido

- Detección libre frente a la relación señal a ruido

En todos los casos la configuración del usuario ha sido la siguiente:

- Umbral ANL: 0,6

- Duración: 5 / 10 s (dos configuraciones distintas)

- ANL90: 0,6 (esto es: sin requisitos adicionales impuestos el percentil 90)

3.1.4.2

Comprobación de eventos

La función de reconocimiento recibe como parámetro el fichero audio a analizar, que contiene un único evento sonoro de los diferentes tipos. El sistema determina si se ha detectado algún fragmento de ruido de avión en su interior, que cumpla con los requisitos impuestos por los umbrales. Por lo tanto, el resultado de la prueba consiste en identificar cada fichero (suceso) como producido o no por un avión. Los resultados obtenidos se muestran en la Tabla 3.1:

Tabla 3.1 Error de clasificación (comprobación de eventos)

Error Error

Tipo de sonido d=5s d=10s Tipo de sonido d=5s d=10s

Aeronaves - puro 2,3% 5,9% vehículos de emergencia 0,0% 0,0%

Aeronaves - contaminado 23,4% 33,9% gente 2,9% 0,0%

Coches 0,0% 0,0% animales 1,8% 0,0%

Autobuses 0,0% 0,0% industria 0,0% 0,0%

Camiones 1,0% 0,5% maquinaria 0,0% 0,0%

Motos 1,8% 1,8% otros 0,0% 0,0%

Trenes 2,5% 0,6%

3.1.4.3

Detección de eventos frente a la relación señal a ruido

La evaluación se centra únicamente en las grabaciones correspondientes al ruido de aviones. Las grabaciones, son evaluadas automáticamente por el sistema y los resultados son comparados con las clases impuestas por los técnicos durante la fase de edición y etiquetado. Para cada fichero,

69

además del resultado de la detección, se almacena la relación señal a ruido (estimada manualmente por el doctorando). Este proceso queda descrito en la Figura 3.20.

Las tasas de error obtenidas en función de la relación señal a ruido se muestra en la Figura 3.21.

Figura 3.20 Diagrama de bloques empleado para la prueba de detección de eventos frente a relación señal a ruido

Figura 3.21 Resultados de la prueba de detección de eventos frente a la relación señal a ruido (aviones detectados en función de la relación señal a ruido)

3.1.4.4

Detección libre frente a la relación señal a ruido

Esta prueba sólo se ha efectuado a las grabaciones correspondientes a ruido puro de aviones. En estas grabaciones la relación señal a ruido evoluciona a medida que el avión se acerca al micrófono. El índice ANL evoluciona en paralelo, con lo que puede extraerse la relación existente entre ambos parámetros. Debido a que en los extremos del fichero la relación señal a ruido es baja, algunos fragmentos sonoros (cada uno de 100 ms de duración) son etiquetados de manera incorrecta. La Figura 3.22 muestra la relación entre el porcentaje de fallo y la relación señal a ruido (avión/ruido de fondo). Todas las pruebas del sistema se han efectuado a partir de la salida del micrófono.

Figura 3.22 Porcentaje de fallo en la detección de fragmentos sonoros de aviones (Leq,1s), en función de

70

3.1.4.5

Valoración de los resultados

Como se puede comprobar en las tablas del apartado anterior, a pesar de la multitud de eventos evaluados, y de la gran variedad de entornos acústicos (30 puntos de medida, distintos horarios, ruidos de fondo,…), sólo un 2,3% de los aviones no contaminados por ruido de fondo han sido mal clasificados (no detectados). Además, del resto de fuentes sonoras sólo algunas de ellas serían detectadas como aviones hasta en un 3% de los casos.

La mayor tasa de error se produce cuando el sonido del avión está contaminado por ruido de fondo. Este fenómeno es más frecuente cuanto menor es el nivel alcanzado por los aviones, por lo que buena parte de estos sonidos, no llegarían siquiera a ser evaluados por un sistema tradicional, al no hacer disparar los umbrales del monitor de ruido. No obstante, si un avión de importancia llegara a la par que un ruidoso camión cercano, el sistema (con su configuración por defecto) sería capaz de detectar el paso del avión en un 70% de los casos.

Por otra parte, como puede apreciarse en la Figura 3.22, en el momento que la relación señal a ruido de un fragmento sonoro supera los 10 dB, las tasas de error quedan reducidas por debajo del 10%, reduciéndose notablemente a medida que aumenta la relación señal a ruido. Esto provoca que el 95% de los aviones sean detectados cuando la relación señal a ruido de la totalidad del evento supera los 10 dB.

A partir de lo anterior, cabe concluir que los resultados obtenidos son satisfactorios, especialmente si se tiene en cuenta que existe un margen para la mejora del sistema, y complementos que optimizarán los resultados finales, en la aplicación práctica:!

- Utilización del micrófono omnidireccional del monitor de ruido. Por lo tanto, la captación del sonido se realiza de forma uniforme en todas las direcciones del espacio. La sustitución de esta señal del micrófono, por una procedente de un sensor ador para el sistema de detección, con características directivas (al menos cardioide), permitirá mejorar sustancialmente la relación señal a ruido, y con ello la eficacia del sistema.

- Uno de los principales criterios utilizado para la localización de estaciones de monitorado de ruido es la minimización de ruido de fondo. Por lo tanto, en su uso cotidiano sólo los aviones de poca entidad se verán contaminados de manera importante por ruido de fondo.

- El entrenamiento efectuado persigue una generalización de resultados a múltiples entornos. Un entrenamiento específico para cada una de las zonas de medición, permitiría reducir las tasas de error.