Aprobaci´on de Cr´edito Australiana (ACAS). La ACAS contiene 690 casos, divididos en dos clases, 307 solicitantes “aceptados” y 383 solicitantes “rechazados”. Cada solicitante contiene 15 caracter´ısticas, incluyendo 6 nominales, 8 atributos num´ericos y la ´ultima que es la etiqueta de cada clase (aceptados o rechazados). Este conjunto de datos es interesante porque hay una buena mezcla de atributos: continuos y
6.2 Experimento 2
nominales, nominales con valores peque˜nos y nominales con valores grandes (ver Tabla 6.9). Otra caracter´ıstica importante de esta base de datos, es que faltan pocos valores.
Para proteger la confidencialidad de estos datos, los nombres de los atributos y sus valores se han cambiado a datos simb´olicos. El conjunto de datos contiene una mezcla de atributos, donde seis atributos son continuos y ocho son de categor´ıas variables.
Base de Total Caracter´ısticas Caracter´ısticas Total N´umero Datos Instancias Nominal Num´ericas Caracter´ısticas de Clases
Australia 307/383 6 8 14 2
Tabla 6.9: Descripci´on de los atributos de la base de datos Aprobaci´on de Cr´edito de Aus- tralia.
6.2.2. Selecci´on de la Estructura de Red
La secci´on de la estructura de red se realiz´o como se indic´o en la Subsecci´on 5.5 del Cap´ıtulo 5. El primer experimento se realiz´o con la finalidad de seleccionar la mejor estructura de red y par´ametros de metaplasticidad a utilizar la base de datos ACAS. En la Tabla 6.10 se muestran los resultados obtenidos para diferentes estructuras de red y diferentes par´ametros de metaplasticidad.
Estructura Par´ametros Error Nro. Nro. Tiempo Exactitud de de Red Metaplasticidad MSE Epocas PUE1 de la Clasificaci´on ( %)
I HL O A B Entrena2 Entrena2 Prueba
9 8 1 38 0.5 0.01 2000 210 63.9815 seg. 97.78 98.07 9 8 1 39 0.5 0.01 2000 253 71.2589 seg. 94.56 93.71 9 6 1 37 0.5 0.01 2000 319 90.3624 seg. 93.89 94.20
Tabla 6.10: Resultados obtenidos por el AMMLP al aplicarlo a la base de datos ACAS, usando diferentes estructuras de red y diferentes par´ametros de metaplasticidad.
Para este caso, la funci´on de activaci´on fue tipo sigmoidal con un rango de (0,1) y ser´a el misma para todas las neuronas. Para evaluar comparativamente el rendimiento de los clasificadores, todos los clasificadores que se presentan es este caso fueron entrenados, con el 70 % de los datos, es decir, 483 muestras, de las cuales 215 eran registros aceptados y 268 registros rechazados. El conjunto de
prueba estaba conformado con el restante 30 % de los datos, 207 muestras, dividido de la siguiente manera 92 eran registros aceptados y 115 rechazados.
En la tabla 6.11 se muestra la estructura de red, los par´ametros de meta- plasticidad, las ´epocas, MSE y el n´umero de patrones que se utilizaron para el entrenamiento y prueba de los clasificadores usados.
Clasificadores Estructura Error Nro. Par´ametros N´umeros de Neuronales de Red MSE Epocas Metaplasticidad Patrones
I HL O A B Entrena2 Prueba
AMMLP 9 8 1 0.01 2000 38 0.5 483 207 BPNNs 9 8 1 0.01 2000 NA3 NA3 483 207
Tabla 6.11: Par´ametros de red aplicados a la ACAS.
Una vez conseguida la mejor estructura de red para esta base de datos se procedi´o a realizar dos experimentos: uno para obtener la mejor exactitud en la clasificaci´on para cada clasificador en una simulaci´on y el otro para obtener el promedio de 50 simulaciones. Para el segundo caso, 50 AMMLP se generaron con pesos iniciales diferentes y cuyos valores eran aleatorios con distribuci´on normal (media 0 y varianza 1). En cada experimento 50 redes fueron entrenadas para alcanzar un promedio que sea independiente del valor aleatorio inicial de los pesos de la RNA. Dos diferentes criterios fueron aplicados para detener el entrenamiento de la red: en un caso el entrenamiento fue detenido cuando el error alcanz´o el valor de 0.01 (el error se reduce, pero no puede converger a 0), y en el otro caso el entrenamiento se deten´ıa cuando la red alcanzaba las 2.000 ´epocas.
6.2.3. Evaluaci´on del M´etodo
En esta secci´on se presentan los experimentos realizados para medir el com- portamiento del m´etodo propuesto AMMLP usando la base de datos ACAS. Los resultados obtenidos por el AMMLP fueron comparados con el Algoritmo de Retropropagaci´on est´andar.
2Entrena: Entrenamiento 3NA: No aplica
6.2 Experimento 2
6.2.3.1. Exactitud de los resultados
Exactitud general: es la medida m´as com´un de evaluaci´on de los clasificadores.
Exactitud= V P+V N
T P +T N+F P +F N (6.4)
donde VP, VN, FP y FN denotan verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos, respectivamente.
Verdadero Positivo (VP): es un registro de cr´edito correctamente aceptado .
Verdadero Negativos (VN): es un registro de cr´edito correctamente rechazada.
Falsos Positivos (FP): es un registro de cr´edito rechazado clasificado como aceptado.
Falsos Negativos (FN): es un registro de cr´edito aceptado clasificado como rechazado.
Aprobaci´on de cr´edito, AC: es una funci´on de los ejemplos clasificados correcta- mente (verdaderos positivos) y los ejemplos mal clasificados (falsos positivos).
AC = V P
V P+F P (6.5)
Negaci´on de cr´edito. NC: es una funci´on de positivo verdaderos y negativos falsos.
N C= F P
Matriz de confusi´on: al igual que en el Experimento 1, se usar´a la matriz de confusi´on para representar el rendimiento de los clasificadores.
La tabla 6.12 muestra el mejor resultado de la clasificaci´on obtenida por cada uno los clasificadores en una matriz de confusi´on.
Clasificadores Resultado Deseado
Resultados de la Salida Neuronales Aceptado Rechazado
Aceptados 92 0 AMMLPs Rechazados 4 111 Aceptados 76 16 BPNNs Rechazados 12 103
Tabla 6.12: Matrices de confusi´on de la mejor clasificaci´on obtenida por los clasificadores en una simulaci´on usando la base de datos ACAS.
En la tabla 6.13 se presenta el mejor resultado obtenido pro cada clasificador usando la base de datos ACAS. El promedio obtenido por los clasificadores en 50 simulaciones de muestra en la tabla 6.14.
Clasificadores Exactitud de la Clasificaci´on ( %) Neuronales Aprobaci´on de Cr´edito Negaci´on de Cr´edito Total Exactitud de la Clasificaci´on AMMLPs 100 96.52 98.07 BPNNs 82.63 89.56 86.47
Tabla 6.13: Exactitud de la clasificaci´on obtenida por los clasificadores en la mejor simu- laci´on.
Clasificadores Exactitud de la Clasificaci´on ( %) Neuronales Aprobaci´on de Cr´edito Negaci´on de Cr´edito Total Exactitud de la Clasificaci´on AMMLPs 90.41±2.9 95.08±2.1 92.86±1.6 BPNNs 82.67±3.6 90.43±3.9 84.98±2.3
Tabla 6.14: Promedio en la exactitud de la clasificaci´on obtenida en 50 simulaciones para cada clasificador.
Como se puede observar, AMMLP es superior al Algoritmo de Retropropagaci´on est´andar en todos los casos.
6.2 Experimento 2
6.2.3.2. Comparaci´on con el Estado-del-Arte
Los resultados obtenidos con el AMMLP se compar´o con los resultados de otros algoritmos de dos maneras: Primero se comparo estos resultados con algoritmos propuestos recientemente aplicados a la base de datos de ACAS. En segundo lugar, los resultados se compararon tambi´en con otros buenos algoritmos que han sido desarrollados por otros investigadores y que han utilizando la misma base de datos.
Los resultados obtenidos por el AMMLP fueron comparados con diferentes algoritmos propuestos recientemente por otros investigadores. En 2008 Penget al., [136] obtuvieron una exactitud de 86,36 %, Tsai & Wu [137] alcanzaron un 87.25 % de exactitud en la clasificaci´on. En 2009 Khasman [15] present´o una exactitud de 89,28 %, en [138] Nanni & Lumini obtuvieron un 87.05 % de exactitud, Xuet al., [139] informaron de una exactitud de 89.28 %, Luoet al., [140] alcanzaron un 86.52 % de exactitud, mientras que Tsai [141] obtuvo un 89.93 % , Ping present´o un 87.52 % [142]. En 2010 Chen & Li obtuvieron una exactitud de 88.52 % [143].
En este estudio el mejor resultado obtenido en una simulaci´on fue de 98.07 % de exactitud y se obtuvo un average de 92.86 % en 50 simulaciones.
Los resultados obtenidos en la clasificaci´on por el AMMLP fueron comparados tambi´en con los mejores resultados obtenidos por otros investigadores que utilizaron la misma base de datos en sus estudios. En la Tabla 6.15 se presenta los nombres de los investigadores, los algoritmos usados en sus estudios y la exactitud en la clasificaci´on obtenida.
Autor(s) (A˜no) M´etodo Exactitud de la Clasificaci´on ( %) West, 2.000 [144] MEO 87.14 Onget al.,2005 [145] GP 88.27 Huanget al.,2006 [146] 2SGP 89.17 Martenset al.,2007 [147] SVM 85.70 Hoffmanet al.,2007 [148] Bayes 86.70 Huanget al.,2007 [149] GA-SVM 86.90
Penget al.,2008 [136] MCQP 86.36
Tsai and Wu, 2008 [137] Multiples Clasificadores 87.25 Khasman, 2009 [15] LS3 89.28 Nanni and Lumini, 2009 [138] LMNC 87.05
Xu et al.,2009 [139] HARA 89.28
Luoet al.,2009 [140] CLC 86.52
Tsai, 2009 [141] MLP 89.93 Ping, 2009 [142] SVM-H´ıbrido 87.52 Chen and Li, 2010 [143] LDA + SVM 88.52
En este estudio AMMLP 98.074
En este estudio AMMLP 92.865
Tabla 6.15: Exactitud de la clasificaci´on usando la base de datos Aprobaci´on de Cr´edito Aus- traliana obtenida por el m´etodo propuesto AMMLP y por otros clasificadores consultados en la literatura.
6.2.4. Conclusiones
La puntuaci´on de cr´edito se ha convertido en una tarea muy importante para los bancos, especialmente en los ´ultimos a˜nos con el aumento de las situaciones impago y de morosidad. Mientras los bancos requiere de t´ecnicas cada vez m´as sofisticadas para basar sus decisiones de pr´estamos de cr´edito, cada vez m´as investigadores est´an buscando mejores estrategias para mejorar los modelos de puntuaci´on de cr´edito. En esta investigaci´on se present´o un modelo de evaluaci´on del riesgo de cr´edito utilizando el algoritmo AMMLP, para mejorar las decisiones en el momento de otorgar o no el cr´edito. El m´etodo propuesto fue aplicado a la la base de datos Aprobaci´on de Cr´edito Australiana (ACAS). Los resultados obtenidos demuestran la superioridad del AMMLP con respecto al Algoritmo de Retropropagaci´on est´andar y con respecto a otros algoritmos desarrollados por diferentes investigadores y aplicados a la misma base de datos. Por lo tanto, se puede concluir que el algoritmo propuesto AMMLP se deber´ıa considerar para tomar como una segunda opci´on para apoyar las decisiones de pr´estamo de cr´edito.
4El mejor resultado obtenido en una simulaci´on. 5Average obtenido en 50 simulaciones.