Sensitivity Analysis

Un modelo es una herramienta que sin validar, no permite hacer conclusiones fiables para apoyar los procesos de toma de decisiones. La validación consiste en la comparación de los resultados obtenidos en la simulación con el modelo matemático y los observados en la realidad. Existen, además del control visual de los resultados, criterios objetivos para evaluar la bondad de ajuste de los datos simulados contra los valores observados. La objetividad de estos criterios consiste en que además de ser mesurables cuantitativamente cada uno de ellos tiene valores críticos que definen en que caso la bondad de ajuste es suficiente y en cuáles no (Castillo, y otros, 2008).

Una de las técnicas más sencillas en la validación de modelos, es el control visual de los resultados, pero es subjetiva y depende en gran medida de la escala en que se representen los resultados. Sin embargo se puede destacar la detección de desfases temporales en los valores extremos y tendencias características.

Existe gran variedad de criterios de desempeño. Los más utilizados en hidrología además del criterio

/ ∆ (Appolov, y otros, 1974) y del Bayesiano de información BIS (NOOA-a, 1999) se presentan en

Dawson y otros (2007). A continuación se describen, en detalle, el / _∆ y el BIS y brevemente los presentados en el sitio de internet Hydro Test, que analiza series temporales de datos producidos por modelos hidrológicos. El sistema requiere de dos series de datos para realizar el análisis, una serie de valores observados y una serie de valores modelados (Dawson, y otros, 2007).

36

¾ Criterio del Centro Hidrometeorológico de Rusia ( / _∆)

Si se simboliza a los valores reales como y a los modelados con , entonces es posible simbolizar los incrementos de los valores reales como:

∆ –

El incremento medio será entonces:

∆ ∆

Aquí representa el número de pronósticos evaluados. A su vez: la desviación estándar de los incrementos de los valores reales σ_∆ se determina con la ecuación:

σ_∆ ∑ ∆ ∆

n

El error cuadrático estándar de los errores de los pronósticos se establece de la siguiente forma:

S ∑ _n –

De las ecuaciones (1), (2), (3) y (4) se deduce que el criterio / _∆ relaciona la desviación estándar de los incrementos de la magnitud pronosticada con la desviación de los errores de pronóstico, exigiendo que la variabilidad de los errores cometidos en los pronósticos no supere la variabilidad de los incrementos de la variable observada. En conclusión, la relación / _∆ mide la habilidad que tiene la metodología de pronóstico para superar al “pronóstico por inercia”, y de ningún modo describe el nivel de error que se pueda cometer en los pronóstico. Por esto, adicionalmente se evalúa el porcentaje de pronósticos acertados, el cual en caso de ser igual o mayor al 80% demostraría una bondad de ajuste muy buena, mientras que si el porcentaje de aciertos se encuentra entre el 60 y 79% ésta se cataloga como satisfactoria y para los casos en que es menor del 60% inaceptable (Domínguez C., 2007). Para determinar el porcentaje de pronósticos acertados se debe determinar el error máximo ∆ permitido para cada pronóstico. Este se puede definir como: ∆ , _∆. Este ∆ fue propuesto por el Centro Hidrometeorológico de Rusia – CHR, pero el ∆ también puede ser dictado por las necesidades del sector usuario que requiere de los pronósticos hidrológicos. Por ejemplo el Subcomité Hidrológico y de Plantas Eléctricas (SHPE) de Colombia establece que el error máximo permitido para los pronósticos de afluencias mensuales no debe superar el 30% (ISA, 2001).

37

Finalmente, para determinar si un modelo matemático esta validado se exige que: / _∆ , , para el pronóstico perfecto / _∆ , una excelente validación cumple con / _∆ , , una buena con

, / ∆ , y una satisfactoria , / ∆ , . Sí / ∆ , la parametrización

del modelo se debe perfeccionar.

¾ Criterio de Información Bayesiano (BIS)

Este criterio toma en cuenta el error promedio absoluto de la modelación y su desviación estándar (NOOA-a, 1999).

∆ ∑

∆ ∑ ∆

El BIS también toma en cuenta la relación entre el predictor y la variable pronosticada a través del coeficiente de regresión entre los datos observados y los simulados “a” y no deja de lado la variabilidad de la magnitud pronosticada dado que utiliza su desviación estándar de modo que:

∆

Sí el modelo matemático produce pronósticos perfectos entonces , para una validación satisfactoria es necesario que se cumpla la siguiente desigualdad:

, En rigurosidad, el BIS es más fuerte que el / _∆, sin embargo este último no requiere de suposiciones

matemáticas como las utilizadas por el BIS, por ejemplo la linealidad de la curva de regresión entre valores observados y simulados; por lo que / _∆ fue utilizado como el criterio de desempeño principal en este trabajo.

38

¾ Otros criterios utilizados en hidrociencias

La estructura de esta sección se desarrolla con base en las denominaciones del sitio web Hydro Test (Dawson, y otros, 2007), de modo que representa la magnitud observada, la pronósticada y ,

las medias de los valores observados y los pronosticados respectivamente.

Los criterios están categorizados en: Criterios de desempeño absoluto (Tabla 2.1), criterios de desempeño relativo (Tabla 2.2) y criterios de desempeño adimensionales (Tabla 2.3).

Tabla 2.1 Criterios de desempeño absolutos

CRITERIO Según Hydro Test Ecuación

Error máximo Absoluto AME _max

Diferencia de Picos PDIFF _{max max}

Error absoluto promedio MAE

Error medio ME

Error cuadrático medio RMSE ∑

Raíz cuádruple del error cuádruple R4MS4E _{R MS E} ∑ Criterio de Información de Akaike AIC

Criterio de Información Bayesiano BIC ln

En los criterios AIC y BIC, corresponde al número de parámetros libres en cada modelo, representa el número de datos usados para la calibración.

39

Tabla 2.2 Criterios de desempeño relativos

CRITERIO Según Hydro

Test

Ecuación

Error absoluto relativo RAE ∑

∑ | |

Porcentaje de error en el pico máximo PEP _{max max}

max

Error relativo promedio MARE

Mediana del error relativo promedio en porcentaje

MdAPE

Error medio relativo MRE

Error cuadrático medio relativo MSRE

Error volumétrico relativo RVE ∑

∑

Los criterios presentados en las Tabla 2.1 y Tabla 2.2, establecen que el mejor desempeño de los modelos evaluados se obtiene cuando éstos son iguales a cero (0). En la Tabla 2.4 se presentan los valores que deben obtenerse para los criterios de desempeño adimensionales (Dawson, y otros, 2007).

Tabla 2.3 Criterios de desempeño adimensionales

CRITERIO Según Hydro Test Ecuación

Coeficiente de determinación RSqr RSqr ∑

40

CRITERIO Según Hydro Test Ecuación

Criterio de eficiencia CE ∑

∑

Índice de acuerdo IoAd IoAd ∑

∑ | |

Índice de persistencia PI ∑

∑

Tabla 2.4 Valores críticos para los criterios adimensionales

Criterio Mejor Peor Bueno Satisfactorio Pobre

RSqr 1 0 , , ,

IoAd 1 0 , , ,

CE 1 , , ,

PI 1 DD

DD (depende de los datos)

Estos criterios serán los utilizados en la evaluación de los modelos construidos en la predicción y simulación de niveles.