Chapter 3 Meta-theoretical framework on learning in governance 55
3.4 Learning typology – how learning can be identified 66
El escenario de pruebas propuesto para llevar a cabo la simulación se observa en la Figura 13, donde se muestra el despliegue de los componentes realizados durante el diseño del algoritmo, a nivel de Hardware y Software se describen en la Tabla 3 las herramientas utilizadas.
Figura 13 Diagrama de Despliegue de la Solución, diseño del ambiente de pruebas
Tabla 3 Descripción de los componentes base para la simulación
Descripción Marca Magnitud Unidad de
Medida
Procesador Intel QuadCore 2,5 MHz
Memoria RAM Kingston 8 GHz
Software Base Matlab Mathworks
2014b N.A.
El set de pruebas contempla 3 verticales las cuales se deben combinar para tener todos los escenarios. En principio se definen los tipos de tráfico a analizar; debido a que existe muestreo para varios días, realizar pruebas con todos sería un esfuerzo de recurso innecesario, por tanto, se toman intervalos iguales cuando existe alto y bajo tráfico. La segunda vertical, son los métodos de predicción seleccionados AR, MA, ARMA y por último los Métodos de Selección Multivariable definidos: SAW, TOPSIS, VIKOR y HPA como se muestra en la Tabla 4.
Tabla 4 Escenarios donde se aplica el algoritmo desarrollado MÉTODO DE SELECCIÓN TIPO DE TRÁFICO MÉTODO DE PREDICCIÓN MADM ALTO AR MA ARMA BAJO AR MA ARMA 3.9 Experimentación
El proceso de experimentación se lleva a cabo 50 veces utilizando la trazas de medición de potencia para tráfico GSM en la ciudad de Bogotá donde un solo proceso comprende evaluar todas las combinaciones de las variables predefinidas en el sistema mostradas en la Tabla 4.
1. Preparación de los Datos y los Seeders de Matlab:
Dentro de cada proceso de simulación se tomaban inicios aleatorios para lograr que los valores estadísticos del sistema variaran, dentro de estos cambios se encuentra tomar TimeSteps diferentes para los cada uno de los canales y variar el Seeder de Matlab por simulación.
2. Ejecución del Algoritmo:
Se introducían los datos de entrada para el sistema y se esperaba que arrojaran las diferentes métricas descritas dentro del algoritmo para realizar los posteriores análisis de mediciones. Debido a que cada simulación puede tardar entre 8 y 10 Horas se optimiza para que algunas ejecuciones corran en paralelo disminuyendo los tiempos a 5 horas en promedio por simulación. 3. Normalización de la Información:
Una vez los datos son arrojados, se procede a normalizar la data para que pueda ser comprendida de manera más fácil. Como cada TimeStep se ejecuta en 330 ms aproximadamente en lapso de 9 minutos que demora la simulación, significa que se generan 1620 datos para cada una de las 5 variables utilizadas. El proceso de normalización consta de realizar las gráficas acumulativas para las variables asociadas a los Handoff y promedio para el Ancho de Banda.
4 RESULTADOS
A continuación, se describen los resultados de la investigación basados en el modelo de pruebas descrito en la sección anterior. El algoritmo en estas condiciones permite conocer el desempeño en ambientes reales y determinar si es posible disminuir la interferencia con el PU para responder la pregunta problema planteada al inicio de esta investigación.
A parte de las métricas definidas en el modelo para determinar si el algoritmo cumple con su objetivo, se adicionan otras a la investigación que son útiles para ver el comportamiento en la simulación:
• Handoff Por Predicción: Registra los saltos de frecuencia realizados por el algoritmo determinados por la predicción realizada.
• Error Medio Aritmético en Predicción: Indica el valor medio de error arrojado por la predicción comparada con la traza original.
4.1 SAW
El comportamiento del algoritmo SAW cumple con su objetivo principal de reducir la interferencia con el Usuario Primario en los dos tipos de tráfico objetos del estudio: alto y bajo como se observa en la Figura 20 y Figura 21. Las demás variables de interés están dentro de lo esperado, para tráfico Alto, sin importar la técnica de predicción (Tabla 5) el ancho de banda adyacente el cual seleccionado tiene una media de 580 MHz, al igual ocurre con el tráfico bajo que tiene un ancho de banda superior de 772MHz en promedio (Ver Figura 14 y Figura 15).
Tabla 5 Error medio de predicción frente a la muestra original – SAW Tráfico Alto Tráfico Bajo
Error Medio AR 2,47% 3,43 %
Error Medio MA 2,48 % 3,90 %
Error Medio ARMA 2,20 % 3,19 %
Tabla 6 Ancho de banda promedio - SAW Tráfico Alto (kHz) Tráfico Bajo (kHz) BW Promedio AR 582,78 772,29 BW Promedio MA 582,00 771,66 BW Promedio ARMA 579,25 773,95
Figura 14 Ancho de banda promedio - tráfico bajo – SAW
Figura 15 Ancho de banda promedio - tráfico alto - SAW
El número total de Handoff para la muestra, indica que la predicción que mayor Handoff introdujo a la simulación fue ARMA con un porcentaje 60% con respecto al algoritmo Reactivo (Ver Figura 16 y Figura 17), por el contrario, MA es quien introduce menor retardo como se observa en la Tabla 7.
Tabla 7 Número total de Handoff –SAW
Tráfico Alto Tráfico Bajo
#Total Handoff AR 138 104
#Total Handoff MA 112 98
#Total Handoff ARMA 147 121
#Total Handoff Sin Predicción 90 81
Figura 16 Número de Handoff totales - tráfico bajo – SAW
Para el caso de Handoff fallidos donde indica que el algoritmo de selección fallo pues existe un Usuario Primario en el canal, AR tiene un buen desempeño pues para tráfico Alto tiene el mismo número de bloqueos que el algoritmo Reactivo (ver Figura 18 y Figura 19)
Tabla 8 Número de Handoff fallidos - SAW
Tráfico Alto Tráfico Bajo
#Total Handoff Fallidos AR 12 10
#Total Handoff Fallidos MA 16 8
#Total Handoff Fallidos ARMA 14 8
#Total Handoff Fallidos Sin Predicción 12 5
Figura 18 Número de Handoff fallidos - tráfico bajo – SAW
El número de Handoff por interferencia descrito por la Tabla 9, es la variable que más relevancia tiene para la presente investigación, muestra en todos los escenarios una mejora con respecto al algoritmo sin predicción. MA logra un 14,10% menos interferencia con el usuario primario para tráfico alto y un 13,15% para tráfico bajo.
Figura 19 Número de Handoff fallidos - tráfico bajo – SAW
Tabla 9 Número de Handoff por interferencia SAW
Tráfico Alto Tráfico Bajo
#Total Handoff Interferencia AR 70 64
#Total Handoff Interferencia MA 67 66
#Total Handoff Interferencia ARMA 70 69
#Total Handoff Interferencia Sin Predicción 78 76
Figura 21 Número de Handoff por interferencia - tráfico alto – SAW 4.2 VIKOR
El error medio presente en el algoritmo de selección de canal VIKOR (Tabla 10), muestra que se realiza mejor predicción cuando se implementa ARMA, ya que alcanza un error de 2.23 % con respecto a la traza original en los canales escogidos para los intervalos de tiempo, por el contrario el que más error marco fue MA, tanto para tráfico Alto y Bajo.
Tabla 10 Error medio de predicción frente a la muestra original - VIKOR Tráfico Alto Tráfico Bajo
Error Medio AR 2.49% 3.42%
Error Medio MA 2.51% 3.93%
Error Medio ARMA 2.23% 3.20%
Como se observa en la
Tabla 11, el ancho de banda promedio es similar para los todas las muestras realizadas, es claro que para un tráfico bajo el algoritmo logra encontrar más canales adyacentes para realizar la transmisión, logrando un ancho de banda de casi un 50%. La técnica que mejor desempeño mostró es ARMA (Ver Figura 22 y Figura 23).
Tabla 11 Ancho de banda promedio VIKOR Tráfico Alto (kHz) Tráfico Bajo (kHz) BW Promedio AR 585,96 775,13 BW Promedio MA 582,15 775,08 BW Promedio ARMA 582,49 776,47
BW Promedio Sin Predicción 586,51 772,84
Figura 23 Ancho de banda utilizado - tráfico alto – VIKOR
Por otro lado a comparación de las dos métricas anteriores ARMA es el algoritmo que más saltos espectrales introduce en la simulación (ver Figura 24 y Figura 25), esto impacta fuertemente en retrasos en transmisión, saturación de canales si existen otros usuarios secundarios, entre otros. En la Tabla 12se registran los datos del Handoff espectral totales para VIKOR.
Tabla 12 Número total de Handoff -VIKOR
Tráfico Alto Tráfico Bajo
#Total Handoff AR 138 106
#Total Handoff MA 112 99
#Total Handoff ARMA 147 121
Figura 24 Handoff totales - tráfico bajo – VIKOR
Para los Bloqueos provocados debidos a la selección de canal, se observa casi uniforme en las cuatro muestras ver
Tabla 13, pero como se evidencia en la Figura 26 y Figura 27, generalmente cuando no existe predicción muestra una tendencia a estar por debajo de las demás técnicas, lo que indicaría, que para ver un mejor escenario es necesario tener más trazas para buscar una estabilidad en el sistema.
Tabla 13 Número de Handoff fallidos VIKOR
Tráfico Alto Tráfico Bajo
#Total Handoff Fallidos AR 12 11
#Total Handoff Fallidos MA 16 6
#Total Handoff Fallidos ARMA 14 9
#Total Handoff Fallidos Sin Predicción 12 6
Figura 27 Handoff fallidos - tráfico alto – VIKOR
En promedio, los demás algoritmos de predicción para Vikor lograron reducir la interferencia en un 11,4 % para tráfico Alto y un 12.88 % para tráfico Bajo como está descrito en la Tabla 14. Dentro de la Figura 28 y Figura 29, se observa que para todo el tiempo de simulación la interferencia siempre está por debajo del Handoff Reactivo.
Tráfico Alto Tráfico Bajo
#Total Handoff Interferencia AR 70 63
#Total Handoff Interferencia MA 67 65
#Total Handoff Interferencia ARMA 70 68
#Total Handoff Interferencia Sin Predicción 78 75 Tabla 14 Número de Handoff por interferencia VIKOR
Figura 29 Handoff por interferencia - tráfico alto – VIKOR 4.3 TOPSIS
La Tabla 15 muestra el error medio de las predicciones hechas, entre los algoritmos, AR, MA y ARMA, la técnica que menor margen de error presento en promedio fue ARMA, y la que mayor error presento fue, MA tanto para tráfico al Alto y Bajo.
Tabla 15 Error medio de predicción frente a la muestra original TOPSIS Tráfico Alto Tráfico Bajo
Error Medio AR 2,47% 3,39%
Error Medio MA 2,52% 3,92%
Error Medio ARMA 2,19% 3,17%
El ancho de Banda Promedio logrado con TOPSIS es inferior al observado con VIKOR para ambos casos (Tabla 16), tráfico Alto Y Bajo. En tráfico alto, la disminución del ancho de banda es de alrededor 10% y en tráfico Bajo es del 15%. Además, si se observan la Figura 30 y Figura 31, se evidencia que el ancho de banda es muy variable, lo que para condiciones donde se requiera un ancho de banda constante sería una complicación.
Tabla 16 Ancho de banda promedio utilizado TOSIS Tráfico Alto
(kHz)
Tráfico Bajo (kHz)
BW Promedio AR 543,28 690,95
BW Promedio MA 544,44 689,81
BW Promedio ARMA 542,64 692,03
BW Promedio Sin Predicción 546,47 687,24
Figura 30 Ancho de banda utilizado - tráfico alto – TOPSIS
Figura 31 Ancho de banda utilizado - tráfico bajo – TOPSIS La
Tabla 17 muestra el número de Handoff introducidos por los algoritmos de predicción para TOPSIS. MA, sigue siendo es la técnica que mejor desempeño muestra ya que introduce únicamente 12% de saltos adicionales en tráfico Alto a comparación del Handoff Reactivo. Por otro lado, TOPSIS muestra un desempeño bajo para hacer selección de canal cuando existe tráfico bajo, pues como se observa en la Figura 32 y Figura 33 logra mayor número de saltos en tráfico de tipo Bajo que en Alto introduciendo alta latencia a un caudal de tráfico que no lo amerita.
Tabla 17 Número total de Handoff realizados TOPSIS Tráfico Alto Tráfico Bajo
#Total Handoff AR 132 135
#Total Handoff MA 111 122
#Total Handoff ARMA 135 148
#Total Handoff Sin Predicción 90 99
En la Figura 34 y Figura 35 se observa que los Handoff Fallidos para TOPSIS y todos sus modelos de predicción son muy similar en tráfico Alto; mientras que para tráfico bajo, se introduce un mayor número de bloqueos que llegan a más del 100% para el caso de AR (Tabla 18).
Figura 33 Handoff totales - tráfico alto – TOPSIS Tabla 18 Handoff Fallidos TOPSIS
Tráfico Alto Tráfico Bajo
#Total Handoff Fallidos AR 14 16
#Total Handoff Fallidos MA 16 14
#Total Handoff Fallidos ARMA 15 10
#Total Handoff Fallidos Sin Predicción 13 7
Figura 35 Handoff fallidos - tráfico alto – TOPSIS
Acorde a lo observado en el número total de Handoff realizados registrados en la Tabla 24, la técnica TOPSIS tiene un buen desempeño para tráfico Alto, pero uno regular para tráfico Bajo, debido a que introduce alrededor de un 9% de saltos adicionales por interferencia (Ver Figura 36 y Figura 37).
Tabla 19 Número de Handoff por interferencia TOPSIS
Tráfico Alto Tráfico Bajo
#Total Handoff Interferencia AR 68 76
#Total Handoff Interferencia MA 64 74
#Total Handoff Interferencia ARMA 67 82
Figura 36 Handoff por interferencia - tráfico bajo – TOPSIS
Figura 37 Handoff por interferencia – tráfico alto – TOPSIS 4.4 AHP
Al utilizar AHP se observa que el error medio en predicción está en 2,54% para bajo y 3,56 % para alto (
Tabla 20). Éste resultado de error también afecta otros variables vistas más adelante como en el número de Handoff totales realizados por AHP, donde se observa en la Figura 40 y Figura 41 genera un mayor número de saltos para tráfico Bajo que para el Alto.
Tráfico Alto Tráfico Bajo
Error Medio AR 2,62% 3,45%
Error Medio MA 2,73% 3,98%
Error Medio ARMA 2,28% 3,26%
El Ancho de Banda promedio para AHP (Tabla 21), es levemente inferior que a las otras tres técnicas: SAW, VIKOR y TOPSIS bajando su capacidad en 3% y 8% para tráfico alto y bajo respectivamente. Por otro lado, si se compara la Figura 38 y Figura 39 la técnica AHP produce un menor Ancho de Banda para Tráfico Bajo, relegando este algoritmo de Selección a ser utilizado preferiblemente en tráficos de tipo Alto.
Tabla 21 Ancho de banda promedio utilizado AHP Tráfico Alto (kHz) Tráfico Bajo (kHz) BW Promedio AR 537,66 544,01 BW Promedio MA 537,45 550,02 BW Promedio ARMA 539,42 543,84
BW Promedio Sin Predicción 535,73 555,10
Figura 38 Ancho de banda utilizado - tráfico alto – AHP
Figura 39 Ancho de banda utilizado - tráfico bajo – AHP
Tabla 22 Número total de Handoff realizados AHP
Tráfico Alto Tráfico Bajo
#Total Handoff AR 142 188
#Total Handoff MA 111 163
#Total Handoff ARMA 136 195
#Total Handoff Sin Predicción 87 122
Figura 41 Handoff totales - tráfico alto – AHP La
Tabla 23 muestra los Handoff Fallidos realizados por el algoritmo AHP para la simulación. Se observa al igual de las otras variables analizadas en AHP, el desempeño para tráfico Bajo, no es el adecuado ya que supera hasta en un 300% los saltos que presenta el tráfico alto (Figura 42 y Figura 43).
Tabla 23 Handoff fallidos AHP
Tráfico Alto Tráfico Bajo
#Total Handoff Fallidos AR 20 70
#Total Handoff Fallidos MA 16 60
#Total Handoff Fallidos ARMA 16 55
#Total Handoff Fallidos Sin Predicción 13 40 El Handoff por Interferencia para AHP (
Tabla 24), muestra un mayor desempeño en predicción arrojada por MA ya que logra una reducción del 16% frente al algoritmo Reactivo para tráfico Bajo, por el contrario, para tráfico bajo aumenta el número de interferencias, convirtiendo a AHP en el único algoritmo que no logra con la función principal de reducir interferencia con el Usuario Primario, como se observa en la Figura 44 y Figura 45.
Figura 42 Handoff fallidos - tráfico bajo –AHP
Figura 43 Handoff fallidos - tráfico alto – AHP
Tabla 24 Número de Handoff por interferencia AHP
Tráfico Alto Tráfico Bajo
#Total Handoff Interferencia AR 63 94
#Total Handoff Interferencia MA 62 94
#Total Handoff Interferencia ARMA 67 95
Figura 44 Handoff por interferencia - tráfico bajo – AHP
4.5 Comparativa de Modelos
La Tabla 25 y
Tabla 26 muestra el desempeño de los algoritmos para tráfico Alto y Bajo respectivamente según el ancho de banda obtenido. En general los modelos de predicción para las técnicas de selección no influyen en la ganancia de ancho de banda, ya que el rango de aumento o diminución está alrededor del 1%. Por otro lado la influencia del método de selección es más pronunciado según los resultados obtenidos, como se observa para tráfico bajo el ancho de banda, de AHP es 25% inferior a SAW.
Como síntesis, todos los métodos de selección para ganancia de ancho de banda son buenos para tráfico alto ya que se valor promedio no tiene gran desviación. En contraste, en tráfico bajo donde se espera que exista un mayor ancho de banda en transmisión, el comportamiento de AHP fue el único algoritmo que no arrojó los mejora con respecto a los demás.
Tabla 25. Resultados del ancho de banda obtenido en tráfico alto. Tráfico Alto SAW VIKOR TOPSIS AHP
BW Promedio por Predicción BW Promedio AR 582,78 585,96 543,28 537,66 562,42 BW Promedio MA 582,00 582,15 544,44 537,45 561,51 BW Promedio ARMA 579,25 582,49 542,64 539,42 560,95 BW Promedio Sin Predicción 583,35 586,51 546,47 535,73 563,02 Promedio 581,85 584,28 544,21 537,57
Tabla 26. Resultados del ancho de banda obtenido en tráfico bajo. Tráfico Bajo SAW VIKOR TOPSIS AHP
BW Promedio por Predicción BW Promedio AR 772,29 775,13 690,95 544,01 695,60 BW Promedio MA 771,66 775,08 689,81 550,02 696,64 BW Promedio ARMA 773,95 776,47 692,03 543,84 696,57 BW Promedio Sin Predicción 769,96 772,84 687,24 555,10 696,29 Promedio 771,97 774,88 690,01 548,24
Para el tráfico adicionado según la técnica de predicción, como se observa en la Tabla 27 y
Tabla 28, el que mejor desempeño mostró fue MA, ya que tanto para tráfico Alto y Bajo introduce alrededor de un 20% de saltos con respecto al Handoff reactivo, por otro lado el que peor comportamiento presentó fue ARMA con un 35% de saltos promedio adicionado para ambos tipos de tráfico.
Según la técnica de selección se puede observar que SAW tiene el mejor comportamiento para tráfico Bajo con un 24,17% y TOPSIS para alto con 28,02%. Como balance la mejor técnica de selección es TOPSIS para introducir la menor cantidad de Handoff.
Tabla 27. Resultados del número total de Handoff obtenido en tráfico alto.
Tráfico Alto SAW VIKOR TOPSIS AHP
% medio de Handoff promedio por
predicción
#Total Handoff AR 138 138 132 142 35,03%
#Total Handoff MA 112 112 111 111 19,96%
#Total Handoff ARMA 147 147 135 136 36,73%
#Total Handoff Sin
Predicción 90 90 90 87
Total 31,07% 31,07% 28,02% 32,13%
Tabla 28. Resultados del número total de Handoff obtenido en tráfico bajo.
Tráfico Bajo SAW VIKOR TOPSIS AHP
% medio de Handoff adicionado por
predicción
#Total Handoff AR 104 106 135 188 26,87%
#Total Handoff MA 98 99 122 163 19,88%
#Total Handoff ARMA 121 121 148 195 34,16%
#Total Handoff Sin
Predicción 81 81 99 122
Total 24,17% 24,94% 26,21% 32,57% Para el número de Handoff fallidos (
Tabla 29 y
Tabla 30), el modelo de predicción que mejor desempeño presento para tráfico Alto fue AR, con 10,54% de saltos errados, pero es el peor para tráfico Bajo con 48 % con respecto al Handoff reactivo. El algoritmo de selección de Canal que peor desempeño tuvo fue SAW si se compara con su propio modelo Reactivo, pero es AHP el que más saltos fallidos introduce en toda la simulación sobre todo en tráfico bajo.
Tabla 29. Resultados del número total de Handoff fallidos obtenidos en tráfico alto. Tráfico Alto SAW VIKOR TOPSIS AHP
% medio de Handoff fallidos
#Total Handoff Fallidos AR 12 12 14 20 10,54%
#Total Handoff Fallidos MA 16 16 16 16 21,88%
#Total Handoff Fallidos
ARMA 14 14 15 16 15,16%
#Total Handoff Fallidos Sin
Predicción 12 12 13 13 0,00%
Total 13,10% 13,10% 13,08% 24,17%
Tabla 30. Resultados del número total de Handoff fallidos obtenidos en tráfico bajo. Tráfico Bajo SAW VIKOR TOPSIS AHP Handoff fallidos % medio de
#Total Handoff Fallidos AR 10 11 16 70 48,64%
#Total Handoff Fallidos MA 8 6 14 60 30,21%
#Total Handoff Fallidos
ARMA 8 9 10 55 32,03%
#Total Handoff Fallidos Sin
Predicción 5 6 7 40
Total 41,67% 26,26% 45,42% 34,49% Las
Tabla 31 y Tabla 32 muestran el número de Handoff por interferencia realizados durante la simulación. MA tiene un mejor desempeño en tráfico alto con un 18% menor de saltos por interferencia, y AR un 11% en tráfico bajo. TOPSIS es la técnica de selección que mejor desempeño tiene tanto en Alto como en Bajo, con respecto