6.3 Large gallery model setup and initial study
6.3.2 Boundary conditions
Cualquier modelo que se cree utilizando Dinámica de Sistemas tiene que ser sometido a una serie de pruebas con el objetivo de comprobar si la información y los resultados que muestra, tienen validez y pueden ser utilizados de forma segura para la toma de decisiones en las organizaciones.
Según Sterman (2000), diferentes autores de modelos que utilizan Dinámica de Sistema (como por ejemplo Forrester 1973, Forrester y Senge 1980, Barlas 1989, 1990, 1996) han desarrollado una gran variedad de pruebas específicas con el propósito de identificar defectos e inconsistencias en los modelos, de tal forma que se puedan corregir y mejorar.
Con el propósito de identificar inconsistencias y mejorar el modelo de amenazas internas de seguridad que se ha desarrollado en este estudio, se realizarán algunas de las pruebas sugeridas por Sterman. Con el propósito que se puedan entender con claridad las pruebas que se le realizan al modelo, se describirá de manera breve el propósito de la prueba, herramientas utilizadas y los resultados de la evaluación.
4.5.1 Pruebas de limite de Suficiencia
a) Propósito de la Prueba
En esta prueba se trata de identificar la correcta aplicación de los límites del modelo. Para ello se debe establecer con claridad cual es el límite del modelo, a través de la identificación exhaustiva de las variables endógenas y exógenas que forman parte del modelo.
b) Herramientas
Para esta prueba se pueden utilizar Diagramas de Subsistemas, Diagramas de Limites del modelo, Diagramas causales, Diagrama de Flujos y una simple inspección de las ecuaciones del modelo para determinar sus límites.
A continuación se utiliza una tabla para listar las variables endógenas y exógenas que participan en el modelo de tal forma que se pueda apreciar con claridad cuales son los límites del modelo. El tiempo que se utiliza para llevar a cabo la simulación de las amenazas internas es 12 meses el cual equivale a un año.
Variables Endógenas Exógenas
Conformidad de las Acciones de los empleados
X Tasa de Ajuste de Detección X Ajuste en la Capacidad de Detección X Capacidad de Detección X Acciones Precursoras Detectadas X Percepción de Riesgo de la Organización X Compromiso con la Seguridad X Acciones Ignoradas o no detectadas por la Organización X Inversión en medidas de Seguridad X
Riesgo percibido por el Atacante
X
Tasa de Ajuste del Nivel de Seguridad
X
Intensidad de las Acciones Precursoras
X
Ajuste del Nivel de Seguridad
X
Nivel de Seguridad X
Acciones Precursoras del Atacante X Vulnerabilidad X Tasa de Incremento de la Motivación X Cantidad de Motivos X
Motivación para Atacar X
Incremento de Motivación X Aumento Comportamiento Inadecuado X Comportamiento Inadecuado X Controles Formales X
4.5.2 Pruebas de Evaluación de Estructura
a) Propósito de la Prueba
Mediante la aplicación de esta prueba se puede saber si el modelo es consistente en reproducir la situación problemática de la vida real.
b) Herramientas
De forma similar a la prueba de límites de suficiencia, en esta prueba se pueden utilizaa Diagramas de Subsistemas, Diagramas de Flujo, Diagramas Causales.
c) Resultados
A continuación se muestra un diagrama de alto nivel generado por el programa Ithink Analyst en el que se puede mostrar las relaciones que tiene cada uno de las sectores que participan en el modelo, reflejando de manera claro el proceso de retroalimentación que existe en todo el modelo.
De forma similar al diagrama mostrado anteriormente, también se muestra el diagrama causa-efecto del modelo, en donde se puede observar las relaciones causales de cada una de las variables involucradas y también permite apreciar como a través de esas relaciones causales se reproduce el comportamiento en la vida real de las amenazas internas de seguridad en una organización.
4.5.3 Consistencia Dimensional
a) Propósito de la Prueba
Esta prueba es muy importante y consiste básicamente en especificar las unidades de medidas de cada una de las variables que participan en el modelo. Mediante la definición de las unidades de medidas se pueden detectar inconsistencias en el entendimiento de la estructura o proceso de decisión que se esta tratando de modelar.
b) Herramientas
Para esta prueba no existe una herramienta específica. La especificación de las unidades de medidas se puede determinar mediante la inspección de las ecuaciones del modelo. Se debe de aclarar que puede existir la posibilidad que una variable no tenga una unidad de medida específica, lo cual se debe principalmente a la naturaleza de la misma.
c) Resultados
SUM = Sin Unidad de Medida
Variables Unidades Conformidad de las Acciones de los empleados SUM Tasa de Ajuste de Detección Capacidad de Detección/mes Ajuste en la Capacidad de Detección
Capacidad de Detección Acciones Precursoras Detectadas/mes Acciones Precursoras Detectadas Acciones Precursoras Detectadas Percepción de Riesgo de la Organización SUM Compromiso con la Seguridad SUM Acciones Ignoradas o no detectadas por la Organización Acciones Precursoras No Detectadas o
Ignoradas/mes Inversión en medidas de
Seguridad
SUM Riesgo percibido por el
Atacante
SUM Tasa de Ajuste del Nivel
de Seguridad
Nivel de Seguridad/mes Intensidad de las
Acciones Precursoras
SUM Ajuste del Nivel de
Seguridad
SUM Nivel de Seguridad
Acciones Precursoras del Atacante Acciones Precursoras de atacante/mes Vulnerabilidad SUM Tasa de Incremento de la Motivación Motivación/mes Cantidad de Motivos Motivos Motivación para Atacar SUM
Incremento de Motivación SUM Aumento Comportamiento Inadecuado SUM Comportamiento Inadecuado SUM
Tabla 5 Unidades de medida de las variables del modelo
4.5.4 Evaluación y Estimación de Parámetros
a) Propósito de la Prueba
En esta prueba se debe de comprobar que cada una de las variables que se utilizan para el modelo posea valores que tengan un significado claro y que se aproximen lo más posible a la vida real.
b) Herramientas
Para esta prueba existen algunas herramientas que pueden aplicarse, una de las básicas es la estimación estadística para datos numéricos o estimación a manera de juicio. Sin embargo para este estudio y debido a que en primer lugar se trata de un modelo genérico y además dado que existe muy poca información con respecto al tema, los valores que se consideraran para las variables serán en su mayoría escalas que van del 0 al 1 para los valores porcentuales y 0 – 10 para las variables que necesiten valores enteros.
c) Resultados
Las variables mas importantes que se consideran de mayor relevancia del modelo que se presenta en este estudio son:
1. Nivel de Seguridad: Esta variable toma valores en la escala de 0 – 1. En el modelo inicial esta variable toma un valor inicial de 0.8 y comienza a decrecer hasta alcanzar valores de 0 en los ultimes meses, situación que se manifiesta con datos extremos. Tras un análisis realizado se considera que es en estos momentos, donde el atacante aprovecha para realizar un ataque final en contra de la empresa u organización que finalmente es el que causa más daño.
2. Motivación para Atacar de parte del Atacante: Esta variable toma valores en la escala de 0 – 1. En el modelo inicial esta variable toma un valor inicial de 0.1 y comienza a crecer a medida que van pasando los meses. Es importante recalcar que los valores que toma esta variable siempre están en el rango especificado y que se apegan a la realidad según los supuestos realizados para el modelo.
3. Conformidad con las Acciones de los Empleados: Esta variable toma valores en la escala de 0 – 1. En el modelo inicial esta variable toma un valor inicial de 0.3 porque se hace el supuesto que una empresa al contratar a un empleado tiene cierto nivel de conformidad. Este valor comienza a aumentar a medida que pasan los meses según el horizonte de tiempo que se utiliza para este modelo (12 meses). Los valores mostrados en la simulación se mantienen en el rango especificado y se apegan a la realidad según los supuestos realizados para el modelo.
4.5.5 Pruebas de Condiciones Extremas
a) Propósito de la Prueba
En esta prueba se debe de someter el modelo bajo condiciones extremas, con el propósito de comprobar su el grado de robustez que posee. Esto significa que el modelo debe de comportarse de una manera realista, sin importar que tan extremo sean los parámetros de entrada o las políticas impuestas. Las pruebas de condiciones extremas evalúan si el modelo se comporta adecuadamente cuando los parámetros de entrada toman valores extremos como infinito.
b) Herramientas
Esta prueba se pueden de dos maneras diferentes: a través de inspección directa de las ecuaciones del modelo y por simulación.
c) Resultados
Con el propósito de realizar pruebas de condiciones extremas se han considerado la utilización de las variables externas (exógenas) en sus valores mínimos y valores máximos.
Valores Mínimos Cantidad de Motivos: 0
Intensidad de las Acciones Precursoras: 0 Inversión en Medidas de Seguridad: 0
Estos valores nos dan como consecuencia los siguientes valores de las variables importantes evaluadas en 12 meses:
Nivel de Seguridad: 0.65 Motivación para Atacar: 0.1
Conformidad con las Acciones de los Empleados: 0.84
Se puede apreciar que aún bajo valores mínimos los datos resultantes son lógicos puesto que el nivel de seguridad se mantiene alto, la motivación para atacar se mantiene bajo y la conformidad crece debido a la relación de confianza que existe entre la empresa y el trabajador.
Valores Máximos Cantidad de Motivos: 3
Intensidad de las Acciones Precursoras: 4 Inversión en Medidas de Seguridad: 0
Estos valores nos dan como consecuencia los siguientes valores de las variables importantes evaluadas en 12 meses:
Nivel de Seguridad: 0 – 0.01 Motivación para Atacar: 0.65-0.7
Conformidad con las Acciones de los Empleados: 0.78
Se puede apreciar que bajo valores máximos los datos de las variables resultantes tienen lógica porque por ejemplo a pesar de que la conformidad con las acciones permanece creciendo si tiene una pequeña disminución que indica la leve percepción de la empresa sobre las acciones del atacante, de forma similar el nivel de seguridad baja de manera alarmante al igual que la motivación para atacar.
4.5.6 Pruebas de errores de integración
a) Propósito de la Prueba
Los modelos de Dinámica de Sistemas son usualmente formulados en tiempo continuo y resueltos a través de integración numérica. Se debe de seleccionar el método específico de integración numérica y además, la fracción de cambio (step) que conlleve a una aproximación de la dinámica y comportamiento deseado para el modelo.
b) Herramientas
Las herramientas utilizadas para realizar esta prueba consisten en realizar cambios en las fracciones de cambio especificados para el modelo inicial (puede ser la mitad de tiempo) y observar cambios en el comportamiento. De igual forma se pueden realizar cambios en el método de integración para poder analizar si existen cambios significativos en el modelo que indiquen una anomalía.
c) Resultados
Los valores especificados para llevar a cabo la simulación inicial del modelo fueron:
Método de Integración: Euler
DT (Fracción de Cambio de Tiempo): 0.5 Valor Inicial 1 Meses
Valor Final 12 Meses
Los valores Reflejados de las variables de estudios con estos valores fueron: Nivel de Seguridad: 0.65
Conformidad con las Acciones de los Empleados: 0.84 Motivación para Atacar: 0.10
Al realizar un cambio en el modelo de Integración numérica ( Runge – Kutta 2) y variar el DT a la mitad (0,25) se observan los siguientes valores en la simulación: Nivel de Seguridad: 0.65
Conformidad con las Acciones de los Empleados: 0.84 Motivación para Atacar: 0.10
Como se puede apreciar a pesar de los cambios en el método de integración numérica que se realiza y en la fracción de tiempo, los valores que toman las variables mas importantes del modelo no sufren ningún tipo de cambios.
4.5.7 Pruebas de reproducción de comportamiento
a) Propósito de la Prueba
Esta prueba se realiza con el objetivo de evaluar si el modelo reproduce el comportamiento de la situación problemática de la vida real. El propósito principal de la prueba de reproducción de comportamiento es descubrir inconsistencias en la estructura o parámetros del modelo y evaluar si coinciden con el comportamiento mostrado. Esta prueba no puede probar si un modelo esta correcto o es confiable. En esta prueba se debe dejar claro todos aquellos parámetros o estructuras que el modelo que se presente abarca y los que no.
b) Herramientas
Existen muchas herramientas disponibles para evaluar la habilidad del modelo para reproducir el comportamiento de un sistema, las más comunes es utilizando estadística descriptiva para evaluar el ajuste punto a punto. Las métricas punto a punto calculan la medida de error de los errores entre una serie de datos Xd y la salida del modelo Xm en cada punto para la cual existen datos y luego describir una media a través del horizonte.
c) Resultados
Dado que el modelo que se presenta en este estudio, carece de información dado los inconvenientes que se han descrito anteriormente, esta prueba se reduce al análisis del comportamiento de las variables principales del modelo y reproducirlas en el simulador. A continuación se describe los comportamientos logrados según las situaciones y la problemática observada:
Nivel de Seguridad: Para esta variable se logra observar una disminución o decremento en sus niveles a lo largo de los 12 meses para los que se realiza la simulación. Este comportamiento se logra adecuadamente en el simulador.
Conformidad con las acciones de los Empleados: Para esta variable se observa que a medida que transcurre el tiempo de simulación, los valores de esta variable sufren un incremento considerable, lo cual es reproducido adecuadamente en el simulador.
Motivación para Atacar: Esta variable se caracteriza por tener un comportamiento que manifiesta un crecimiento de sus valores dado el efecto de las demás variables. El comportamiento de esta variable es reproducida adecuadamente en el simulador.
4.5.8 Pruebas de Miembros de Familia
a) Propósito de la Prueba
Esta prueba evalúa si el modelo de estudio puede generar el comportamiento de otra instancia de la misma clase del sistema para el cual el modelo fue construido. La mayor cantidad de instancias de un sistemas que un modelo pueda representar aun mas general la teoría que abarca. Esta prueba es particularmente de ayuda cuando la clase de sistema que el modelo abarca incluye una amplia variedad de diferentes patrones de comportamiento.
b) Herramientas
Esta prueba se realiza a través de la variación de parámetros, con el objetivo de poder reproducir los patrones de comportamiento de otras instancias
c) Resultados
El modelo de amenazas internas de seguridad que se desarrolla en este estudio es un modelo genérico, orientado a servir de base para que pueda ser aplicado en distintas organizaciones y empresas. Sin embargo debe de tener en consideración que dado la falta de información de la problemática principal, es difícil tratar de abarcar todas las variables para los distintos casos en los que se presente, por lo tanto cuando se desee utilizar en una organización específica debe ser modificado según como se requiera.
4.5.9 Pruebas de Comportamientos Sorpresivos
a) Propósito de la Prueba
Discrepancias entre el comportamiento del modelo y lo que se espera de él, indica que existen inconsistencias ya sea en el modelo formal, modelo mental o ambos. Esta prueba se pasa cuando un modelo genera un cierto comportamiento, previamente no reconocido y que realmente ocurre en la vida real.
b) Herramientas
Para que la realización de esta prueba sea efectiva, se debe de analizar el comportamiento del modelo de forma exhaustiva. Se deben de analizar el comportamiento de todas las variables y no solo de las más importantes y finalmente se debe de tomar en consideración la fuente de todos los comportamientos anómalos.
c) Resultados
Al realizar un análisis de cada una de las variables, no se logró determinar un comportamiento sorpresivo. Cada una de las variables estudiadas representa una aproximación del comportamiento manifestado por estas mismas en la vida
4.5.10 Análisis de Sensibilidad
a) Propósito de la Prueba
Dado que todos los modelos están mal (Sterman 2000), se deben de evaluar la robustez de las conclusiones de incertidumbre en los supuestos que se hacen del modelo. Esta prueba de análisis de sensibilidad pregunta y evalúa si las conclusiones cambian de manera drástica al propósito del modelo cuando se varían los supuestos a través de los rangos plausibles de incertidumbre
Existen 3 tipos de análisis de sensibilidad:
Sensibilidad Numérica: existen cuando un cambio en los supuestos cambia los valores numéricos de los resultados.
Sensibilidad de modo de Comportamiento: existen cuando un cambio en los supuestos cambia los patrones de comportamiento generados por el modelo.
Sensibilidad de Políticas: existen cuando un cambio en los supuestos invierte el impacto de una política propuesta.
b) Herramientas
Para poder realizar esta prueba se debe considerar los rangos plausibles de incertidumbre para los valores de cada parámetro, variable o relación no lineal. La mayoría de los paquetes para la modelación dinámica de sistemas incluyen herramientas automatizadas para la realización de este tipo de análisis.
Para el caso específico de este estudio se utilizara Ithink Analyst que ya incluye herramientas para la realización de este tipo de análisis.
c) Resultados
El análisis de sensibilidad se puede realizar con todas las variables del modelo, sin embargo solo se realizará para las tres variables de estudio del modelo (nivel de seguridad, conformidad de la organización y motivación para atacar) asignándoles valores distintos a las variables relacionadas con las políticas que se proponen (variables externas).
Se mostrarán los resultados de la variable controles formales y su relación con las variables conformidad de la organización y motivación para Atacar, así como los de la variable inversión en medidas de seguridad y su relación con la variable nivel de seguridad.
Se utilizaron los siguientes valores iniciales de la variable controles formales según el nivel: Nivel 0 - 1.3 Nivel 1 - 1.1 Nivel 2 - 0.9 Nivel 3 - 0.7 Nivel 4 - 0.5
Al utilizar valores distintos para la misma variables como se muestra la gráfica a continuación:
Se obtienen los siguientes resultados para la variable Conformidad con las acciones de los empleados
Como se puede apreciar en la gráfica, a pesar de que hubo una variación en los parámetros de la variable controles formales, el comportamiento de la variable conformidad con las acciones de los empleados no experimentó algún cambio es decir se comporta de la misma manera.
Figura 16 Análisis de Sensibilidad – Conformidad de la Organización
Se obtienen los siguientes resultados para la variable Motivación para Atacar
Como se puede apreciar en la gráfica, a pesar de que hubo una variación en los parámetros de la variable controles formales, el comportamiento de la variable motivación para atacar no experimentó algún cambio es decir se comporta de la misma manera.
Para la variable inversión en medidas de seguridad se utilizaron los siguientes valores iniciales según el nivel:
Nivel 0 - 0.2 Nivel 1 - 0.15 Nivel 2 - 0.10 Nivel 3 - 0.05 Nivel 4 - 0.01 Nivel 5 - 0.005
Para realizar el análisis de sensibilidad, se utilizaron los siguientes datos y modificaciones:
Número de Simulaciones: 5
Tipo de Variación: Incremental con un rango de 0.5 – 0.005
Obteniendo los siguientes resultados para la variable Nivel de Seguridad:
Figura 18 Análisis de Sensibilidad – Nivel de Seguridad
Como se puede apreciar en la gráfica, a pesar de que hubo una variación en los