7 CHAPTER 7: DISCUSSION
7.6 Combining Systemic and CA frameworks
Hasta el momento se ha abordado parte de la teor´ıa en la que se fundamentan los sistemas difusos y en definitiva los sistemas difusos adaptativos en labores de clasificaci´on. Sin embargo, como en cualquier aplicaci´on de inteligencia artificial y en general en cualquier ´area, existe una probabilidad de error, en la que su disminusi´on depende de la destreza de quien implementa estas t´ecnicas y m´etodos. Es por esto, que toma relevancia la validaci´on del rendimiento y la evaluaci´on, en este caso, los clasificadores. A continuaci´on, se muestran algunos de estos m´etodos.
2.3.3.1. Curva ROC
La curva ROC, por sus siglas en ingl´es (Receiver Operating Characteristic), es una t´ecnica para visualizar el rendimiento de los sistemas clasificadores binarios, mediante la representaci´on gr´afica de la sensibilidad frente a la es- pecificidad. ´Esta curva ha sido empleada desde hace tiempo en la teor´ıa de la
detecci´on de se˜nales para describir la compensaci´on entre las tasas de acier- tos y las tasas de desaciertos de los clasificadores [35].
Otra interpretaci´on de la gr´afica se da, ya que esta vincula la raz´on de ver- daderos positivos (VPR) frente a la raz´on de falsos positivos (FPR), a partir del margen de discriminaci´on, el cual es el valor que determina cuando un caso es considerado positivo. Esto quiere decir que ROC es una comparaci´on de dos caracter´ısticas operativas (VPR y FPR) que responde a cambios en el umbral de decisi´on [35], [36].
Sensibilidad
Torres en [37] define la sensibilidad como un par´ametro que se mide dentro de un grupo de sujetos que verdaderamente hacen parte de una clase positiva (enfermos), en el caso de este proyecto se podr´ıa decir, que se refiere al grupo de elementos que en realidad corresponden a los valores t´ıpicos de las compoenentes RGB que representan el color piel. ´Este se calcula mediente el cociente entre verdaderos positivos y el total de elementos dentro de la base de datos que corresponden al color piel. Por lo tanto, es la probabilidad de obtener un resultado positivo cuando el p´ıxel corresponde a una zona con presencia de piel.
Especificidad
La especificidad es un par´ametro medido a lo largo del grupo al cual pertenece la clase negativa de una base de datos, para labores de clasificaci´on binaria. ´
Este es el cociente entre verdaderos negativos y el total de elementos que no corresponden a los valores t´ıpicos de las compoenentes RGB que representan el color piel. Dado esto, este par´ametro es la probabilidad de obtener un resultado negativo cuando la zona de inter´es no corresponde a una zona con presencia de piel [36], [37].
Test con Resultado Binario
Un test con dos posibles resultados da lugar a la siguiente notaci´on. Sea D, la variable determina el estado verdadero de una clase (color piel):
D=
1 presencia de color piel
0 ausencia de color piel (2.10)
Y =
1 positivo para color piel
0 negativo para color piel (2.11)
Los resultados se resumen dentro de la Tabla 2.2.
D=0 D=1
Y =0 Especificidad; V N R = P[Y = 0|D= 0]
F N R=P[Y = 0|D= 1]
Y=1 F P R=P[Y = 1|D= 0] Sensibilidad;V P R =P[Y = 1|D= 1] Tabla 2.2: Resultado de una Prueba Binaria General
Los sub´ındices D y ¯D denotan el estado de piel y no piel. Por ejemplo YD
muestra el resultado del test para un elemento correspondiente a piel.
2.3.3.2. Cross Validation
Cross Validation o Validaci´on Cruzada, es un m´etodo estad´ıstico de eva- luaci´on con el cual se busca garantizar la independencia entre los datos de entrenamiento y los de validaci´on, implementados en algoritmos de apren- dizaje. En la validaci´on cruzada t´ıpica, la cual es una mejora del holdout method, los conjuntos de entrenamiento y validaci´on deben cruzarse en ron- das sucesivas de modo que cada dato tiene una posibilidad de ser validado en contra. La forma b´asica de llevar a cabo este, es realizando el cruce k-veces (k-fold cross validation)[38].
Figura 2.7: Esquema General M´etodo K-fold Cross Validation. Fuente: An- dreini, De Falco, Sassu [39]
En la Figura 2.7 se muestra el esquema general del m´etodo k-fold cross va- lidation. Los datos se dividen primero en k segmentos del mismo tama˜no (o casi igual). Posteriormente, se toman diferentes conjuntos de entrenamiento y validaci´on de tal manera que dentro de cada una de estos, se determine un segmento diferente para su validaci´on, mientras que los segmentos k - 1 restantes se usan para el aprendizaje [38] [39].
El rendimiento de k-fold cross validation est´a determinado por el error obte- nido al final de cada iteraci´on. El c´alculo de este par´ametro est´a dado por:
Err = 1 K K X i=1 Ei (2.12)
Donde,K es el n´umero de iteraciones yEi es el error para cada iteraci´on. Por
lo tanto, lo que describe esta ecuaci´on, es el c´alculo de la media aritm´etica de los errores obtenidos por medio de la sumatoria de losEi valores de error,
los cuales son divididos entre el n´umero de iteraciones [40].
Adem´as del m´etodo k-fold cross-validation, existen; elRandom Cross-Validation y uno de los m´as efectivos pero a la vez con mayor requerimiento en cuan- to a nivel computacional, el Leave-one-out Cross-Validation (LOOCV). Sin
embargo, estas variaciones del m´etodo original no ser´an objeto de estudio en este proyecto.