Communicative Construction, Cognition and Emotion

El rendimiento del algoritmo propuesto es puesto a prueba para un comportamiento del PU con secuencias de datos simulados y reales (trazas GSM y WiFi),

Primer grupo de casos de prueba.Se crearon de manera simulada patrones de comportamiento (múltiples

tamaños) a partir de lo sugerido en (Saleem & Rehmani, 2014), y de acuerdo a lo descrito en la tabla 4. Tabla 4. Casos de prueba para trazas de tráfico del PU generadas mediante simulación. Identificador Caso de prueba Descripción

CP1 i % 2 === 0 Corresponde a un histórico en donde todas las unidades de tiempo _{pares presentan ocupación del canal.} CP2 i % 5! === 0 Corresponde a un histórico en donde todas unidades de tiempo que _{no sean múltiplos de 5, presentan una ocupación de canal.} CP3 i % 3 === 0 Corresponde a un histórico en donde todas las unidades de tiempo _{que sean múltiplos de 3, presentan una ocupación de canal.} CP4 i % 3 === 0 and _{i % 2 === 0} Corresponde a un histórico en donde todas las unidades de tiempo _{que sean múltiplos de 3 y 2, presentan una ocupación de canal.} CP5 Aleatorio Corresponde a un histórico donde aleatoriamente se genera la _{ocupación del canal}

A manera de descripción cualitativa se presentan los resultados arrojados por el algoritmo LSTM al modelar y estimar el comportamiento futuro del usuario licenciado (para el caso CP1) cuando se presenta una fluctuación alta de presencia y ausencia en el canal licenciado (Saleem & Rehmani, 2014). La secuencia binaria que simula el uso del canal está formado por 77 datos; la figura 17 muestra la secuencia para los primeros 17 valores distribuidos como 10101010101010101, donde la presencia del PU se representa con “1” y la ausencia con “0”.

40 Figura 16. Diagrama de flujo para discretización de datos espectrales.

Figura 17.Representación del comportamiento histórico para 77 muestras.

La aplicación genera de manera adaptativa (figura 18) la estructura de red LSTM más adecuada para la secuencia de entrada de acuerdo con lo establecido en la sección 2.3.2.

La etapa de aprendizaje (entrenamiento-modelamiento) se muestra en la figura 19, donde se concluye que la LSTM fue capaz de determinar el patrón que sigue la secuencia de uso del canal en un 100%.

De la estimación futura (proyección de la predicción) entregada por la red neuronal (figura 20), se puede destacar que el nivel de acierto entre la señal original (secuencia color morado) y la proyectada por el sistema (líneas de color azul) es del 100%, lo que sugiere que el error de predicción es del 0%, indicando que el sistema neuronal es muy eficiente para el caso evaluado.

Figura 18. Topología de la red neuronal.

Los resultados cuantitativos para los diferentes casos planteados en la tabla 4, se presentan en la tabla 5. Las métricas de evaluación de desempeño, se refieren a valores promedios, pues se crearon históricos de múltiples tamaños (17, 35, 77, 157 y 200 datos binarios) aplicando 10 pruebas para cada caso, debido a que se pueden obtener diferentes soluciones por cada ejecución del algoritmo.

La validación del algoritmo LSTM se hizo evaluando las mismas métricas bajo idénticas consideraciones pero haciendo uso de una red neuronal tipo perceptron multicapa piramidal (ver tabla 6); posteriormente se comparó con ANFIS (ver tabla 7 y 8).

41 Figura 19. Resultados de la etapa de entrenamiento (fase de aprendizaje de la red).

Tabla 5. Desempeño de LSTM en la caracterización de PUs. LSTM

Caso de prueba Error de validación _{promedio (%)} Error de predicción _{promedio (%)} Número de _{iteraciones procesamiento (ms)} Tiempo de

CP1 0.087583 0 1352 54,8

CP2 0.0936039 20.046595 1422 75,6

CP3 0.8194522 28.9938556 5030 549,1

CP4 0.7566375 15.8806964 3757 820,4

CP5 0.798135 37.4858167 17402 6758,6

42 Tabla 6. Desempeño de MLPNN en la caracterización de PUs.

MLPNN

Caso de prueba Error de validación _{promedio (%)} Error de predicción _{promedio (%)} Número de _{iteraciones procesamiento (ms)} Tiempo de

CP1 0.04994593 0 1594 78,9

CP2 0.06868485 24.9820789 4314 244,1

CP3 0.105482774 37.6014337 5491 517,2

CP4 0.8826215 20.8151562 4702 943,1

CP5 0,5043697 52.6732207 5139 2263,5

Del análisis a partir de las tablas 5 y 6, se observa que el error de predicción promedio en LSTM varía entre el 0 y 37,48%, ubicando el nivel de pronóstico por encima del 62. 50% en el peor de los casos (CP5), porcentaje que además es superior al encontrado con MLPNN (47.33%). Esto indica que LSTM logró generalizar el comportamiento de los diferentes patrones presentados pudiendo llegar a predecir adecuadamente cual va a ser el comportamiento del PU en cualquier instante de tiempo t mientras el PU siga teniendo el mismo comportamiento. Otra característica importante es que a pesar de que LSTM posee en su estructura más neuronas que MLPNN, en los casos CP1 a CP4 requirió de menos iteraciones, demostrando con ello que la complejidad en la estructura LSTM permite abstraer el patrón de comportamiento de la señal PU a un menor costo computacional cuando el tamaño de la matriz usada como histórico es de longitud pequeña. Finalmente el error de validación promedio corresponde a un valor muy pequeño para ambos tipos de red neuronal, condición que garantiza poder llegar a modelar la red de manera óptima.

Segundo grupo de casos de prueba. Para demostrar la viabilidad del algoritmo propuesto con trazas de

tráfico reales tipo GSM y WiFi (de acuerdo a las características establecidas en la sección 2.3.4.1), se definió la métrica llamada “índice de ocupación (Io)” (ecuación 33), para dividir el nivel de uso de las bandas espectrales en: índice de ocupación alta, media y baja; logrando con ello una apreciación más objetiva y detallada.

Ecuación 33 donde 𝑡𝑡(𝑥𝑥) corresponde a los flujos de datos discretizados, y n es el número de elementos en t(x). Las salidas obtenidas se resumen en la tabla 7 y 8, tomando como referencia que se usó para alimentar el sistema un tamaño de traza de 20000 datos para cada una de las tres bandas de frecuencia seleccionadas (de acuerdo a su índice de ocupación) y aplicando 10 pruebas para cada caso.

La evaluación de las métricas en cada caso, sugieren en primer lugar que el tiempo de procesamiento es superior en LSTM, debido al mayor tamaño de las trazas y a que este tipo de red recurrente utiliza celdas de memoria para almacenar información de patrones encontrados y que pudieran ser reutilizados más adelante. Esta capacidad de almacenamiento y olvido de patrones afecta directamente la variable “error de validación” que es mucho mejor en LSTM que en MLPNN.

Se puede observar que el “error de entrenamiento” es menor en LSTM, esto se sustenta en su mayor capacidad para el reconocimiento de patrones gracias a la utilización de las compuertas de olvido, entrada, salida y celda de memoria.

Desde el punto de vista del porcentaje de acierto con LSTM los valores oscilan entre 97.09% (para un 𝐼𝐼𝐶𝐶 bajo) y 77.14% (para un 𝐼𝐼𝐶𝐶 alto) en sistemas GSM; y entre 87.25% (para un 𝐼𝐼𝐶𝐶 bajo) y 63.82% (para un 𝐼𝐼𝐶𝐶 alto) en WiFi, validando con ello ser más eficiente que MLPNN; no obstante es importante destacar que

43 esta mayor eficiencia lleva consigo una mayor necesidad de requerimientos en el hardware, factor que no es relevante si el sistema de predicción se implementa en CRNs con topología centralizada.

Al examinar los porcentajes de acierto en las predicciones de aparición/no aparición de PUs en las bandas espectrales (figura 21), para los índices de ocupación definidos en las tablas 7, 8 y tomando como referencia los algoritmos que mejor rendimiento presentaron, se deduce que con LSTM se obtiene un promedio de éxito en la predicción del 87.34% en GSM y del 76.30% en WiFi, en tanto que con ANFIS se logró una eficiencia de 86.68% en GSM y 72.62% en WiFi.

Figura 21. Porcentaje de acierto en la predicción para LSTM y ANFIS.

También se puede observar una tendencia lineal decreciente y con mayor pendiente en los pronósticos, a medida que la ocupación espectrales aumenta, debido a una mayor intermitencia aleatoria en el uso del espectro; al igual que un mejor desempeño en la caracterización de PUs (para las tres metodologías LSTM, MLPNN y ANFIS) en la banda espectral GSM, debido probablemente a la naturaleza más caótica presentada en los flujos WiFi.