Chapter 2: Soft Systems Methodology (SSM)
2.6 Case Study
Sea unperceptr´onmulticapa conC capas (C-2 capas ocultas) yncneuronas en la capac, para
c= 1,2, ...C.Sea adem´asWc=wi,jc la matriz de pesos asociada a las conexiones de la capa
c a la capa c+ 1 para c = 1,2, ..., C−1, donde wci,j representa el peso de la conexi´on de la neuronaide la capac a la neuronaj de la capac+ 1; y seaUc= (uci) el vector de umbrales de las neuronas de la capacparac= 2, ..., C. Se denota ac
i a la activaci´on de la neuronaide la capac, estas activaciones se calculan del siguiente modo:
• Para la activaci´on de las neuronas de la capa de entrada a1i:
a1i =xi (2.5)
para i= 1,2, ..., n1
donde X = (x1, x2, ..., xn1) representa el vector o patr´on de entrada a la red. Las
neuronas de la capa de entrada se encargan de transmitir hacia la red las se˜nales recibidas
DE CIENCIAS
FISICAS
• Para la activaci´on de las neuronas de la capa oculta c(aci): aci =f nc−1 X j=1 wjic−1acj−1+uci (2.6) para i= 1,2, ..., nc yc= 2,3..., C−1
donde acj−1 son las activaciones de las neuronas de la capa c−1. Las neuronas ocultas de la red procesan la informaci´on recibida aplicando la funci´on de activaci´onf a la suma de los productos de las activaciones que reciben por sus correspondientes pesos.
• Para la activaci´on de las neuronas de la capa de salida aC i : yi=aCi =f nC−1 X j=1 wjiC−1aCj−1+uCi (2.7) para i= 1,2, ..., nC
dondeY = (y1, y2, ..., ynC) es el vector salida de la red. Al igual que en el caso anterior, la activaci´on de estos elementos de neuronas viene dada por la funci´on de activaci´on f
aplicada a la suma de los productos de las entradas que recibe, multiplicadas por sus pesos asociados:
La funci´onf es la llamadafunci´on de activaci´on. Para el perceptr´on multicapa, las funciones de activaci´on m´as utilizadas son la funci´on sigmoidal y la funci´on tangente hiperb´olica como se muestra en la imagen 2.25. Dichas funciones poseen como imagen un rango continuo de valores dentro de los intervalos [0,1] y [-1,1], respectivamente, y vienen dadas por las siguientes expresiones:
• Funci´on sigmoidal:
f1(x) =
1
1 +e−x (2.8)
• Funci´on tangente hiperb´olica:
f2(x) = 1−e−x 1 +e−x (2.9)
DE CIENCIAS
FISICAS
Y MATEMATICAS
Figura 2.25: Funciones de activaci´on del perceptron multicapa.
Ambas son funciones crecientes con dos niveles de saturaci´on: el m´aximo,que proporciona salida 1, y el m´ınimo que proporciona salida 0, para la funci´on sigmoidal, y -1, para la tangente hiperb´olica. Generalmente la funci´on de activaci´on del perceptr´on multicapa es com´un a todos los elementos de procesado de la red. Su elecci´on se realiza ´unicamente bas´andose en los valores de activaci´on que se desea alcancen los elementos de procesado (neuronas). Ambas funciones est´an relacionadas mediante la expresi´onf2(x) = 2f1(x)−1.
En ocasiones y dependiendo de la naturaleza del problema la funci´on de activaci´on de las neuronas de la capa de salida podr´ıa ser una funci´on distinta de las que acabamos de discutir, utilizando otro tipo de funci´on de activaci´on. En este caso, las m´as usadas son la funci´on identidad y la funci´on escal´on.
De las ecuaciones 2.5, 2.6, 2.7, se observa que el patr´on multicapa define, a trav´es de sus conexiones y neuronas, una funci´on continua no lineal del espacio<nl espacio de patrones de
entrada al espacio<nc espacio de patrones de salida. Se puede escribir, por tanto que:
Y =F(X, W)
DondeY es el vector formado por las salidas de la red, Xes el vector de entrada a la red.
W es el conjunto de todos los par´ametros de la red (pesos y umbrales) y F es una funci´on continua no lineal.
2.5.3.3 Dise˜no de la red neuronal para el reconocimiento
Una red neuronal de tipo back propagation permite aprender mediante un conjunto de ejemplo (entrada – salida) com´unmente denominadotraining set. Al haber aprendido mediante este conjunto, se puede obtener una salida coherente para una entrada dada. En la Figura 2.26 es posible observar como se obtiene una salida a partir de la entrada. La red neuronal en este caso la vemos como una caja negra. En la Figura 2.28 se observa como es internamente una red neuronal, en este caso solo se observan dos capas, una de entrada y otra de salida, m´as
DE CIENCIAS
FISICAS
Figura 2.26: Vista de caja negra de una red neuronal. (Fuente:[Cal08b])
Como podemos apreciar, cada neurona de entrada, que posee un valor en el rango [0; 1], pasa ese valor a todas las neuronas de salida. Ese valor es multiplicado por el peso Wi,j representado por las aristas. El valor de Oj es igual al de una funci´on (denominada de transferencia) aplicada a la sumatoria de todos los productos definidos como Yj = Wi,jXj para elj de esa neurona de salida [Cal08b].
Figura 2.27: Vista interna de una red neuronal sin capas ocultas. (Fuente:[Cal08b])
En la Figura 2.28 podemos observar el proceso de entrenamiento tomando la red en forma de caja negra. Vemos que existe dos salidas: la que obtenemos mediante la red y la deseada. Al comparar ambas podemos observar cuan buena fue la predicci´on. El objetivo del pro- ceso de entrenamiento es minimizar el error de la predicci´on y para ello, como se mencion´o anteriormente, solo es posible modificar los pesos de la red.
Figura 2.28: Esquema de entrenamiento de una red neuronal. (Fuente:[Cal08b])
DE CIENCIAS
FISICAS
arbitraria como configuraci´on inicial y luego se tiende a modificarlos de la mejor forma posible y luego se tiende a modificarlos de la mejor forma posible. Para ellos se utiliza la propagaci´on del error hacia atr´as mediante sus derivadas y es por ello que la red toma el nombre de back- propagation. Para el error obtenido se encuentra un vector ∆wque sumado al vector de pesos
W se obtiene una red que arroja un error m´as peque˜no para esa entrada. Como es de esperar, si se corre para la misma entrada este proceso varias veces, el resultado final ser´ıa, siempre y cuando la configuraci´on de la red lo permita, una red con error nulo para ese valor. Ese no es el objetivo, sino lo que se desea es entrenar la red con varias entradas y luego ver que sucede cuando ingresamos alguna que no estaba en el set de datos de entrenamiento.