Chapter 5: Analysis of interviews of pharmacist practitioners from the PAART study, on
6.3 Third Community Pharmacy Agreement QCPP evaluation sub-analysis
5.1.4 RESULTADOS INICIALES ANNPCRESULTADOS INICIALES ANNPC
Una vez construidas las ANN definidas en el numeral anterior, con las Una vez construidas las ANN definidas en el numeral anterior, con las consideraciones de cada caso, se generan los resultados de entrenamiento y consideraciones de cada caso, se generan los resultados de entrenamiento y
evaluación de la ANN, entendiendo como “entrenamiento” para este caso los evaluación de la ANN, entendiendo como “entrenamiento” para este caso los
procesos de entrenamiento y validación, según el tipo de función de procesos de entrenamiento y validación, según el tipo de función de entrenamiento.
entrenamiento.
Para poder realizar una comparación cuantitativa sobre el desempeño de las ANN, Para poder realizar una comparación cuantitativa sobre el desempeño de las ANN, para los mismos datos de entradas y las mismas necesidades de predicción, se para los mismos datos de entradas y las mismas necesidades de predicción, se definen una serie de medidas de ajuste e indicadores que permiten realizar una definen una serie de medidas de ajuste e indicadores que permiten realizar una comparación directa de los
comparación directa de los resultadoresultados obtenidos; dichas s obtenidos; dichas medidas son:medidas son:
Desviación Desviación EstándarEstándar
Q Q MáximoMáximo
Diferencia Diferencia Porcentual Porcentual del Caudel Caudal Máxidal Máximo predmo predichoicho
Desfase Desfase temporal temporal del del picopico
Error Cuadrático Error Cuadrático Medio / Medio / Mean Mean Squared Error Squared Error (MSE)(MSE)
Error Absoluto Error Absoluto Medio Medio / / Mean Mean Absolute Error Absolute Error (MAE)(MAE)
Coeficiente de Coeficiente de correlación serial correlación serial RR
5.1.4.1
5.1.4.1 Redes ANNPC entrenadas con TRAINLMRedes ANNPC entrenadas con TRAINLM
Realizado el entrenamiento del primer grupo de 8 ANN, a continuación se Realizado el entrenamiento del primer grupo de 8 ANN, a continuación se presenta los resultados gráficos de cada una de ellas, y una calificación netamente presenta los resultados gráficos de cada una de ellas, y una calificación netamente cualitativa sobre su desempeño en
Gráfica 5.9
Gráfica 5.9 HidrogHidrog ramas predicramas predic hos phos p or lor l a red neuronal ANNPC1 a red neuronal ANNPC1 Vs Modelados en Sewer GEVs Modelados en Sewer GEMS.MS.
La red ANNPC1 gráficamente presenta un muy buen desempeño ajustándose a La red ANNPC1 gráficamente presenta un muy buen desempeño ajustándose a los datos observados en la modelación de la red en el Software Sewer GEMS. Se los datos observados en la modelación de la red en el Software Sewer GEMS. Se considera que la capacidad de generalización de esta red neuronal artificial es: considera que la capacidad de generalización de esta red neuronal artificial es: Alta.
Alta.
Gráfica 5.1
Gráfica 5.10 Hidrog0 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC2 Vs Modelados en 2 Vs Modelados en SeSewer GEMS.wer GEMS.
La red ANNPC2 presenta un buen desempeño prediciendo los datos de La red ANNPC2 presenta un buen desempeño prediciendo los datos de evaluación para el segundo pico, sin embargo no lo hace tan bien para el caudal evaluación para el segundo pico, sin embargo no lo hace tan bien para el caudal pico más grande. Como puede observarse la red se ajusta muy bien hasta un pico más grande. Como puede observarse la red se ajusta muy bien hasta un valor cercano a los 2000 l/s pero finalmente sub valora los datos del pico máximo. valor cercano a los 2000 l/s pero finalmente sub valora los datos del pico máximo. Se califica su
Gráfica 5.1
Gráfica 5.11 Hidrog1 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC3 Vs Modelados en 3 Vs Modelados en SeSewer GEMS.wer GEMS.
Esta red por otra parte, se ajusta aceptablemente a los hidrogramas modelados, Esta red por otra parte, se ajusta aceptablemente a los hidrogramas modelados, sin embargo la ANNPC3 sobrevalora en ambos casos los caudales picos sin embargo la ANNPC3 sobrevalora en ambos casos los caudales picos predichos. Se califica su generalización como: Media.
predichos. Se califica su generalización como: Media.
Gráfica 5.1
Gráfica 5.12 Hidrog2 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC4 Vs Modelados en 4 Vs Modelados en SeSewer GEMS.wer GEMS.
La red ANNPC4,
La red ANNPC4, Gráfica 5.13,Gráfica 5.13, presenta un pobre desempeño; ni siquiera en los presenta un pobre desempeño; ni siquiera en los caudales más bajos del hidrograma logra ajustarse con suficiencia; sobrevalora los caudales más bajos del hidrograma logra ajustarse con suficiencia; sobrevalora los caudales picos y además genera ruido en el proceso de ajuste. Su bajo caudales picos y además genera ruido en el proceso de ajuste. Su bajo rendimiento podría deberse a un sobre entrenamiento de la red o a un excesivo rendimiento podría deberse a un sobre entrenamiento de la red o a un excesivo número de neuronas. Su generalización: Baja.
Gráfica 5.1
Gráfica 5.13 Hidrog3 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC5 Vs Modelados en 5 Vs Modelados en SeSewer GEMS.wer GEMS.
De manera similar a la ANNPC4, la ANNPC5 de la
De manera similar a la ANNPC4, la ANNPC5 de la Gráfica 5.14Gráfica 5.14 no se ajustano se ajusta adecuadamente a los datos modelados; presenta ruido en las gráficas y adecuadamente a los datos modelados; presenta ruido en las gráficas y subvaloración de los caudales picos. Capacidad de generalización: Baja.
subvaloración de los caudales picos. Capacidad de generalización: Baja.
Gráfica 5.1
Gráfica 5.14 Hidrog4 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC6 Vs Modelados en 6 Vs Modelados en SeSewer GEMS.wer GEMS.
En un desempeño similar al observado con la ANNPC1, la ANNPC6 predice muy En un desempeño similar al observado con la ANNPC1, la ANNPC6 predice muy bien los caudales generados en la descarga, tanto para el caudal pico más grande bien los caudales generados en la descarga, tanto para el caudal pico más grande como para el menor, inclusive logra definir con gran detalle la forma achatada de como para el menor, inclusive logra definir con gran detalle la forma achatada de los picos y el pequeño pico generado cerca de la finalización del segundo evento los picos y el pequeño pico generado cerca de la finalización del segundo evento de lluvia. Su
Gráfica 5.1
Gráfica 5.15 Hidrog5 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC7 Vs Modelados en 7 Vs Modelados en SeSewer GEMS.wer GEMS.
Contrario a los resultados obtenidos en la anterior arquitectura inteligente, la Contrario a los resultados obtenidos en la anterior arquitectura inteligente, la ANNPC7 predice caudales de descarga con mucho
ANNPC7 predice caudales de descarga con mucho ruido; para los dos eventos deruido; para los dos eventos de tormenta de la evaluación esta genera un segundo pico de caudal con geometría tormenta de la evaluación esta genera un segundo pico de caudal con geometría similar, esto se puede atribuir a un sobre entrenamiento de la red a datos similar, esto se puede atribuir a un sobre entrenamiento de la red a datos específicos en los que la tormenta genera un segundo pico. Su generalización: específicos en los que la tormenta genera un segundo pico. Su generalización: Muy Baja.
Muy Baja.
Gráfica 5.1
Gráfica 5.16 Hidrog6 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC8 Vs Modelados en 8 Vs Modelados en SeSewer GEMS.wer GEMS.
Finalmente, la ANNPC8, logra ajustarse aceptablemente en cierto momentos de la Finalmente, la ANNPC8, logra ajustarse aceptablemente en cierto momentos de la tormenta; sin embargo para los dos eventos de evaluación la arquitectura tormenta; sin embargo para los dos eventos de evaluación la arquitectura inteligente sobre valora los caudales pico. Capacidad de generalización: Media inteligente sobre valora los caudales pico. Capacidad de generalización: Media baja.
5.1.4.2
5.1.4.2 Redes ANNPC entrenadas con TRAINRPRedes ANNPC entrenadas con TRAINRP
Prosiguiendo con la evaluación del segundo grupo de 8 redes neuronales Prosiguiendo con la evaluación del segundo grupo de 8 redes neuronales entrenadas con el algoritmo de retro propagación resiliente a continuación se entrenadas con el algoritmo de retro propagación resiliente a continuación se presentan los resultados obtenidos para los mismos caudales evaluados en la presentan los resultados obtenidos para los mismos caudales evaluados en la sección anterior.
sección anterior.
Gráfica 5.1
Gráfica 5.17 Hidrog7 Hidrog ramas predicramas predic hos hos por por la red neurola red neuro nal ANNPCnal ANNPC9 Vs Modelados en 9 Vs Modelados en SeSewer GEMS.wer GEMS.
La ANNPC9,
La ANNPC9, Gráfica 5.18, Gráfica 5.18, se ajusta a los datos observados aceptablemente a lo se ajusta a los datos observados aceptablemente a lo largo de los dos hidrogramas de descarga de la red; sin embargo para el caudal largo de los dos hidrogramas de descarga de la red; sin embargo para el caudal pico máximo su desempeño decae dramáticamente. Su desempeño en cuanto a la pico máximo su desempeño decae dramáticamente. Su desempeño en cuanto a la generalización: Bajo.
generalización: Bajo.
Gráfica 5.18
Gráfica 5.18 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC10 Vs Modelados en Sewer GEM10 Vs Modelados en Sewer GEMS.S.
La ANNPC10 presente un desempeño aún más pobre comparado con la La ANNPC10 presente un desempeño aún más pobre comparado con la ANNPC9; la ANN genera ruido en los datos, y en el caso del segundo caudal pico ANNPC9; la ANN genera ruido en los datos, y en el caso del segundo caudal pico
genera dos picos ambos con valores sub
genera dos picos ambos con valores sub valorados respecto al pico valorados respecto al pico observado enobservado en el modelo de Ser
el modelo de Ser GEMS. Su generalización: Baja.GEMS. Su generalización: Baja.
Gráfica 5.19
Gráfica 5.19 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC11 Vs Modelados en Sewer GEM11 Vs Modelados en Sewer GEMS.S.
Por otra parte, la ANNPC11 parece tener un desempeño más aceptable; y aunque Por otra parte, la ANNPC11 parece tener un desempeño más aceptable; y aunque no se ajusta con suficiencia a los datos observados, si es la red entrenada con no se ajusta con suficiencia a los datos observados, si es la red entrenada con este algoritmo que presenta mejores resultados. Generalización: Media baja.
este algoritmo que presenta mejores resultados. Generalización: Media baja.
Gráfica 5.20
Gráfica 5.20 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC12 Vs Modelados en Sewer GEM12 Vs Modelados en Sewer GEMS.S.
Los hidrogramas generados por la ANNPC12,
Los hidrogramas generados por la ANNPC12, Gráfica 5.21, Gráfica 5.21, presenta un muy bajo presenta un muy bajo ajuste. Para el pico máximo sobrevalora el caudal y lo localiza tiempo después del ajuste. Para el pico máximo sobrevalora el caudal y lo localiza tiempo después del real, y para el mínimo lo subvalora localizándolo nuevamente varios minutos real, y para el mínimo lo subvalora localizándolo nuevamente varios minutos después de lo esperado. Generalización: Muy baja.
Gráfica 5.21
Gráfica 5.21 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPC1onal ANNPC13 Vs Modelados en Sewer GEMS3 Vs Modelados en Sewer GEMS..
Preliminarmente la inclusión de una capa oculta adicional, no parece generar Preliminarmente la inclusión de una capa oculta adicional, no parece generar mejora alguna en redes entrenadas con este algoritmo; únicamente parece mejora alguna en redes entrenadas con este algoritmo; únicamente parece ajustarse aceptable
ajustarse aceptablemente al caudal mente al caudal pico mínimo. Su pico mínimo. Su capacidad de generalización:capacidad de generalización: Media baja.
Media baja.
Gráfica 5.22
Gráfica 5.22 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC14 Vs Modelados en Sewer GEM14 Vs Modelados en Sewer GEMS.S.
Contrario a los anteriores resultados, obtenidos con este algoritmo de Contrario a los anteriores resultados, obtenidos con este algoritmo de entrenamiento, la ANNPC14 muestra una mejora en cuanto a su desempeño, entrenamiento, la ANNPC14 muestra una mejora en cuanto a su desempeño, pese a que sub valora los caudales picos la generalización mejora. Capacidad de pese a que sub valora los caudales picos la generalización mejora. Capacidad de generalización: Media.
Gráfica 5.23
Gráfica 5.23 HidrogHidrog ramas prediramas predi chos chos por por la red neurola red neuro nal ANNPCnal ANNPC15 Vs Modelados en Sewer GEM15 Vs Modelados en Sewer GEMS.S.
Mejorando aún más el ajuste de los valores predichos por la red, la ANNPC15 Mejorando aún más el ajuste de los valores predichos por la red, la ANNPC15 finalmente estima un hidrograma en la descarga sobresaliente, aunque aún sub finalmente estima un hidrograma en la descarga sobresaliente, aunque aún sub valora los caudales picos máximos. S
valora los caudales picos máximos. Su capacidad de generalización: Media alta.u capacidad de generalización: Media alta.
Gráfica 5.24
Gráfica 5.24 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC16 Vs Modelados en Sewer GEM16 Vs Modelados en Sewer GEMS.S.
Finalmente, y de manera similar a los resultados obtenidos en la anterior ANN, la Finalmente, y de manera similar a los resultados obtenidos en la anterior ANN, la ANNPC16 predice hidrogramas de manera más ajustada a
ANNPC16 predice hidrogramas de manera más ajustada a los reales; los los reales; los caudalescaudales picos son más próximos y para el evento máximo su generalización es casi picos son más próximos y para el evento máximo su generalización es casi perfecta. Capacidad de generalización: Alta.
perfecta. Capacidad de generalización: Alta. 5.1.4.3
5.1.4.3 Redes ANNPC entrenadas con TRAINOSSRedes ANNPC entrenadas con TRAINOSS
Prosiguiendo con las redes entrenadas con el método de la secante, a Prosiguiendo con las redes entrenadas con el método de la secante, a continuació
Gráfica 5.2
Gráfica 5.25 Hidrog5 Hidrog ramas predicramas predic hos hos por por la red neurla red neur onal ANNPConal ANNPC17 V17 Vs Modelados s Modelados en Seen Sewer wer GEGEMSMS
La red neuronal artificial ANNPC17 presenta un buen desempeño prediciendo los La red neuronal artificial ANNPC17 presenta un buen desempeño prediciendo los caudales generados en la descarga, al igual que con el algoritmo de Levenberg caudales generados en la descarga, al igual que con el algoritmo de Levenberg – –
Marquardt; este algoritmo parece necesitar de pocas neuronas para obtener un Marquardt; este algoritmo parece necesitar de pocas neuronas para obtener un buen desempeño. Capacidad de generalización: Alta.
buen desempeño. Capacidad de generalización: Alta.
Gráfica 5.26
Gráfica 5.26 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC18 Vs Modelados en Sewer GEM18 Vs Modelados en Sewer GEMS.S.
La ANNPC18,
La ANNPC18, Gráfica 5.27,Gráfica 5.27, no tiene un ajuste tan óptimo como el de su no tiene un ajuste tan óptimo como el de su predecesora; sin embargo la forma de los hidrogramas generados si se asemejan predecesora; sin embargo la forma de los hidrogramas generados si se asemejan a la ANNPC17. Capacidad de generalización: Media alta.
Gráfica 5.27
Gráfica 5.27 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC19 Vs Modelados en Sewer GEM19 Vs Modelados en Sewer GEMS.S.
Con 15 neuronas en la capa oculta, la ANNPC19 presenta un ajuste muy pobre Con 15 neuronas en la capa oculta, la ANNPC19 presenta un ajuste muy pobre comparado con sus predecesoras de 5 y 10 neuronas en una capa oculta. En el comparado con sus predecesoras de 5 y 10 neuronas en una capa oculta. En el pico de caudal máximo menor se presenta ruido similar al encontrado en la pico de caudal máximo menor se presenta ruido similar al encontrado en la ANNPC10 entrenada con TRAINRP, de 10 neuronas en una capa oculta. ANNPC10 entrenada con TRAINRP, de 10 neuronas en una capa oculta. Capacidad de generalización: Baja.
Capacidad de generalización: Baja.
Gráfica 5.28
Gráfica 5.28 HidrogHidrog ramas prediramas predi chos chos por por la red neurola red neuro nal ANNPCnal ANNPC20 Vs Modelados en Sewer GEM20 Vs Modelados en Sewer GEMS.S.
Para una red neuronal entrenada con el método de la secante y 20 neuronas en Para una red neuronal entrenada con el método de la secante y 20 neuronas en una única capa oculta, el ajuste de la predicción a los datos observados es una única capa oculta, el ajuste de la predicción a los datos observados es aceptable a lo largo del hidrograma de creciente; sin embargo para ambos eventos aceptable a lo largo del hidrograma de creciente; sin embargo para ambos eventos de tormenta la arquitectura inteligente no logra reproducir correctamente los de tormenta la arquitectura inteligente no logra reproducir correctamente los caudales picos, y los sobrevalora. Su capacidad de generalización: Media baja. caudales picos, y los sobrevalora. Su capacidad de generalización: Media baja.
Gráfica 5.29
Gráfica 5.29 HidrogHidrog ramas prediramas predi chos chos por por la red neurla red neur onal ANNPConal ANNPC21 Vs Modelados en Sewer GEM21 Vs Modelados en Sewer GEMS.S.
Similarmente a los resultados obtenidos en la ANNPC17 de 5 neuronas en una Similarmente a los resultados obtenidos en la ANNPC17 de 5 neuronas en una capa oculta, la ANNPC21
capa oculta, la ANNPC21,Gráfica 5.30,Gráfica 5.30 , con 5 neuronas igualmente pero con un, con 5 neuronas igualmente pero con un arreglo en dos capas ocultas el ajuste es muy bueno. Requerirá de una medida arreglo en dos capas ocultas el ajuste es muy bueno. Requerirá de una medida cuantitativa para determinar el mejor desempeño entre estas dos redes. Pero cuantitativa para determinar el mejor desempeño entre estas dos redes. Pero preliminarmente puede aseverarse que un bajo conteo de neuronas genera preliminarmente puede aseverarse que un bajo conteo de neuronas genera resultados considerablemente buenos. Capacidad de generalización: Alta.