4.5 Evaluation
4.5.1 RQ1: Comparing IccTA With Existing Tools
Los datos son un recurso de gran importancia en los esfuerzos por alcanzar un desarrollo que sea sostenible. Al igual que cualquier otro recurso, los datos deben ser administrados para el bien público y para asegurar que los beneficios alcancen a todas las personas y no sólo a unos pocos. Los datos deben estar disponibles y deben convertirse en información que pueda ser utilizada con confianza por las personas para entender y mejorar sus vidas y el mundo alrededor de ellos. Los datos son además los elementos fundamentales para la toma de decisiones y para la rendición de cuentas; sin datos de buena calidad que proporcionen la información confiable sobre las cosas correctas y en el momento justo, diseñar, monitorear y evaluar políticas resulta casi imposible [2].
La demanda de datos de la Agenda 2030 es enorme y para poder cumplir con estas demandas las NSOs enfrentan la necesidad de identificar los medios para proporcionar estadísticas que sean eficientes y transparentes y que se ajusten a las políticas y los contextos nacionales. De acuerdo con la resolución 70/1 de la Asamblea General de las Naciones Unidas, los procesos de seguimiento y revisión en todos los niveles deben ser "rigurosos y basados en evidencia, informados por evaluaciones dirigidas por los países y datos de buena calidad, accesibles, oportunos, confiables y desagregados por ingresos, sexo, edad, raza, etnia, estado migratorio, discapacidad y ubicación geográfica, como así también por otras características que sean relevantes a los contextos nacionales" [1]. Fortalecer la provisión de datos e información estadística es necesario para supervisar el progreso, llevar a cabo un análisis integral de las políticas e implementar la Agenda 2030 de manera efectiva. Por lo tanto, contar con estadísticas oficiales que adhieran a los Principios Fundamentales de Estadísticas Oficiales [34] y que soporten la producción eficiente de datos y estadísticas de buena calidad para los SDGs es vital para lograr una agenda de desarrollo tan ambiciosa [35].
Los esfuerzos realizados para el seguimiento de los MDGs implicaron grandes inversiones para mejorar la disponibilidad de datos con fines de monitoreo y reporte. Como resultado de tales esfuerzos, actualmente se sabe mucho más sobre el estado del mundo y, especialmente, el de las personas más pobres en él. Pero a pesar de este progreso significativo existe todavía una enorme falta de datos y de conocimiento sobre algunos de los mayores desafíos y muchas personas y grupos siguen aún siendo ignorados. Esta falta de datos limita, entre otras cosas, la capacidad de los gobiernos de comunicarse y actuar con sus ciudadanos. En el contexto de la revolución de datos y con el foco puesto en la Agenda 2030, la comunidad internacional está demandando soluciones que contribuyan a disponer de datos de calidad que permitan tomar decisiones informadas en pos de un desarrollo sostenible.
2.4.1 Tipos de Datos
El universo de tipos de datos que intervienen en el informe de estado y progreso de los países en cuanto al cumplimiento de las metas de los SDGs cubren un espectro que va desde estadísticas oficiales hasta datos no estadísticos, incluyendo los metadatos que los describen. A continuación se clasifican y describen los distintos tipos de datos y su utilización para informar a los indicadores de los SDGs [36].
o Datos estadísticos oficiales – las estadísticas oficiales a nivel nacional incluyen los datos provenientes de las actividades estadísticas llevadas a cabo dentro de los NSSs o como parte de programas estadísticos de organizaciones intergubernamentales. Estos datos deben cumplir con los Principios Fundamentales para Estadísticas Oficiales [34] o cualquier otro marco internacional que asegure estándares de profesionalidad. Las estadísticas oficiales son consideradas un bien público y proveen información económica, demográfica, social y medio ambiental que describe la realidad de la sociedad.
o Datos estadísticos no oficiales – los datos y estadísticas no oficiales se utilizan para complementar las estadísticas oficiales para el seguimiento y la revisión de la Agenda 2030 en los casos en que existen faltantes en la disponibilidad de estadísticas oficiales o como sustituto en los casos en que las estadísticas oficiales se encuentren aún en desarrollo.
o Datos geoespaciales – los datos geoespaciales contienen información sobre la ubicación asociada a ellos, tales como datos geográficos en la forma de coordenadas, direcciones, ciudades o códigos postales. Los datos geoespaciales se pueden originar a partir de Sistemas de Posicionamiento Global (Global Positioning Systems, GPS), imágenes satelitales, etiquetas geográficas (geo-tagging) o Sistemas de Información Geográfica (Geographic Information Systems, GIS). Este tipo de datos puede formar parte de las estadísticas oficiales o no oficiales dependiendo de su origen, producción y difusión. La utilización de información geoespacial en estadísticas proporciona oportunidades para examinar más fácilmente desarrollos a nivel regional y local, que son de gran importancia en el contexto de la Agenda 2030, en especial para adherir con el principio de "no dejar a nadie afuera".
o Datos no estadísticos – los datos no estadísticos hacen referencia a los datos que no tienen variabilidad estadística. En el contexto de los SDGs, los datos no estadísticos se refieren a las respuestas cualitativas (por ejemplo, la existencia de leyes o regulaciones en un lugar es considerado un indicador no estadístico). Debido a que algunos de los indicadores de la Agenda 2030 son no estadísticos, las oficinas estadísticas deben consultar con otros actores para compilar y obtener respuestas para tales indicadores. La forma en la que los datos para este tipo de indicadores es reportada depende de cada país; sin embargo, es recomendable que se incluyan referencias a documentos relevantes (para el ejemplo anterior, leyes y políticas nacionales) cuando se reportan datos no estadísticos. o Metadatos – los metadatos son los datos que definen y describen otros datos; similarmente, los metadatos
estadísticos sirven para describir los datos estadísticos de manera formal. La siguiente es la definición de metadatos estadísticas establecida en el vocabulario común del Intercambio de Datos y Metadatos Estadísticos (Statistical Data and Metadata eXchange, SDMX) [37].
Definición 2: Metadatos Estadísticos
Datos sobre datos estadísticos que comprenden datos y cualquier otra documentación que describe los objetos de manera formal.
2.4.2 Calidad de Datos
Los investigadores comenzaron a estudiar problemas de calidad desde la década de 1950, especialmente la calidad de los productos. Con el desarrollo de la tecnología de la información (Information Technology, IT), la investigación se enfocó en el estudio de la calidad de los datos y muchas universidades y otras instituciones han realizado investigaciones para el estudio de la calidad de los datos [38]. La calidad de los datos es comúnmente determinada por su aptitud para el uso (fitness-for-use) y su aptitud para el propósito para el que se los necesita (fitness-for-purpose). Dentro de las organizaciones estadísticas, la definición de calidad expresada por la Organización Internacional de Estandarización (International Organization for Standardization, ISO) en su norma ISO 9000 [39] y presentada debajo es la que se utiliza más frecuentemente [40].
Definición 3: Calidad de Datos
El grado en el que un conjunto de características inherentes cumple con los requisitos.
Esta definición es también utilizada por el lenguaje SDMX [41] y por el glosario del Marco Nacional de Garantía de Calidad (National Quality Assurance Framework, NQAF) de las Naciones Unidas [42].
En el contexto de las organizaciones internacionales, la calidad de las estadísticas difundidas depende de dos aspectos: la calidad de los datos estadísticos recibidos de los sistemas nacionales y la calidad de los procesos internos de recolección, procesamiento, análisis y difusión de datos y metadatos. Las estadísticas nacionales se desarrollan de acuerdo con estándares internacionales mientras que los procesos estadísticos a nivel internacional a menudo se derivan de las mejores prácticas desarrolladas a nivel nacional. Por lo tanto, existe una clara interdependencia entre los dos aspectos [43].
2.4.2.1 Dimensiones de Calidad
El concepto de calidad de datos estadísticos es considerado multidimensional ya que no existe una única medida de calidad que sea considerada suficientemente comprensiva [41]. No hay un único conjunto de dimensiones que describan la calidad de datos, pero algunas de las más recurrentes son relevancia, oportunismo, precisión, accesibilidad y coherencia. La Tabla 1 muestra el universo de dimensiones de calidad de datos compilado a partir de la literatura estudiada.
Los datos sólo tienen valor cuando soportan procesos o informan a la toma de decisiones y, por lo tanto, las reglas de calidad de datos deben tener en cuenta el valor que los datos pueden proporcionar a una organización. Pese a que el término dimensión de calidad de datos se ha utilizado ampliamente durante varios años para describir la medida de la calidad de los datos, las dimensiones de calidad de datos clave no están universalmente consensuadas. La definición utilizada en este trabajo es la que se presenta a continuación [44].
Definición 4: Dimensión de Calidad de Datos
Elemento de datos (registro, conjunto de datos o base de datos) que puede medirse o evaluarse para comprender la calidad de los datos.
En función de esta definición, las organizaciones deben acordar las dimensiones de calidad con las que se van a evaluar los datos. Pero además de la calidad de datos, la Agenda 2030 demanda un conjunto de principios clave que deben ser respetados cuando se utilizan datos. Estos principios se describen en la sección siguiente.
Tabla 1: Dimensiones de la Calidad de Datos
Atributos de Calidad Atributos de Calidad Atributos de Calidad
Abiertos Accesibles Adecuados
Aptos Auditables Claros
Coherentes Comparables Completos
Confiables Confidenciales Consistentes
Creíbles Desagregados Disponibles
Económicos Exactos Íntegros
Libres de interferencia política Oportunos Privados
Puntuales Relevantes Transparentes
Usables
2.4.2.2 Principios de Calidad
Con el fin de garantizar que se disponga de datos adecuados para medir y monitorear los SDGs, en agosto de 2014 se estableció un Grupo Asesor Independiente sobre la Revolución de Datos para el Desarrollo Sostenible (Independent Expert Advisory Group on the Data Revolution for Sustainable Development, IEAG) encargado de recomendar acciones que permitan que se maximice el rol que los datos puede desempeñar en la realización del desarrollo sostenible y se reduzcan las brechas en el acceso y la utilización de datos (tanto entre países desarrollados y en vías de desarrollo, entre personas ricas en información y pobres en información, y entre los sectores público y privado) [2]. Para lograr estos objetivos, el IEAG enunció nueve principios clave que pueden ser utilizados para guiar las actividades de las NSOs en el marco de la provisión de datos para los SDGs. Estos principios clave son:
o Calidad e integridad – estándares que respeten los Principios Fundamentales de Estadísticas Oficiales de Naciones
Unidas deben ser utilizados durante todo el proceso con el fin de garantizar la integridad y la calidad de los datos.
o Desagregación – siempre que sea posible, respetando la privacidad y la calidad, los datos deben desagregarse. La
resolución 71/313 adoptada por la Asamblea General de Naciones Unidas en Julio de 2017 estableció que los indicadores de los SDGs deben ser desagregados (cuando tenga sentido) por sexo, edad, raza, etnicidad, situación migratoria, discapacidad y ubicación geográfica, u otras características [45].
o Oportunismo – estándares y tecnología deben ser implementados para reducir el tiempo que transcurre entre la
recolección y la difusión de los datos.
o Transparencia y apertura – todos los datos (ya sean públicos o privados) que se utilicen para medir asuntos públicos (es decir, para reportar el progreso en los SDGs) deben estar disponibles y ser accesibles para todos.
o Usabilidad y curación – los datos deben ser fáciles de usar y deben ofrecer interfaces amigables que permitan un
o Protección y privacidad – se deben implementar estándares, normas y leyes para garantizar la protección individual de la privacidad y que los datos obtenidos de otras organizaciones para la medición de los SDGs no se utilicen por los gobiernos para fines no estadísticos.
o Gobernanza e independencia – se debe proteger la calidad de los datos mediante el fortalecimiento de las NSOs
para asegurar su autonomía e independencia profesional, evitando cualquier tipo de interferencias políticas o presiones económicas.
o Recursos y capacidad – a medida que la demanda de buenos datos aumenta, es necesario invertir en los NSSs,
incluyendo la creación de capacidades, especialmente en los países en desarrollo.
o Derechos – la Agenda 2030 se centra en la sostenibilidad en un entorno de derechos que incluye el derecho a ser
contado, el derecho a una identidad, el derecho a la privacidad y a la propiedad de la propia información, el derecho al debido proceso y los principios de consentimiento.
2.4.2.3 Gestión de Calidad
Los marcos de gestión de calidad proveen el contexto para las actividades e iniciativas de calidad y describen las relaciones entre los diversos procedimientos y herramientas de calidad. También son útiles para proporcionar un espacio para registrar y referenciar el conjunto de conceptos, políticas y prácticas de calidad. Algunos de los beneficios de contar con marcos de garantía de calidad incluyen disponer de un mecanismo para facilitar la identificación de problemas de calidad y posibles acciones para su resolución, brindar transparencia a los procesos mediante los cuales se asegura la calidad, crear y mantener una cultura de calidad dentro de la organización, estimular y maximizar la interacción entre el personal en toda la organización, intercambiar ideas sobre gestión de la calidad con otros productores de estadísticas dentro del sistema estadístico nacional y con otras organizaciones estadísticas nacionales e internacionales, y dar soporte a las mejoras de calidad y su mantenimiento a lo largo del tiempo.
En el contexto de las NSOs, la gestión sistemática de la calidad suele realizarse mediante alguna forma dentro de un marco de garantía de la calidad [41]. Históricamente, la publicación de errores que comprometieron su credibilidad y las variaciones significativas en los recursos disponibles fueron las razones principales para que las NSOs decidan gestionar su calidad de manera más formal y sistemática. Otras razones que suelen motivar o forzar a las NSOs a comprometerse en la formulación de algún marco de aseguramiento de calidad han sido las iniciativas de reforma en los gobiernos, los cambios en las administraciones y las reestructuraciones de las NSOs para cumplir con la legislación o las regulaciones. Independientemente de los motivos, se recomienda que las NSOs adopten medidas de gestión de calidad de manera sistemática lo antes posible y que las formalicen a través de algún marco de garantía de calidad. Las lecciones aprendidas de los organismos nacionales de estadísticas que han introducido marcos de gestión de calidad incluyen la necesidad y la importancia de contar con apoyo – sostenido y a largo plazo – por parte de los mandos altos y el desafío de poder mostrar resultados concretos y visibles con cierta rapidez para poder sostener tal apoyo. Debido a que el trabajo asociado con la calidad demanda mucho tiempo y esfuerzo, y que por lo general sus beneficios no son visibles o evidentes de inmediato, la resistencia del personal a aceptar un aumento en sus cargas de trabajo debe ser considerada y tratada cuidadosamente. Además, como se necesita lograr un compromiso a largo plazo de todo el personal en todos los niveles, comunicar y promocionar los requisitos y los beneficios esperados, intercambiar información y ofrecer capacitación son algunas de las estrategias que se pueden aplicar para lograr dicho compromiso y para que la cultura de calidad se incorpore en la cultura de la organización.
Es recomendable que el proceso de desarrollo de un marco nacional de gestión de calidad se realice a través de un equipo de trabajo interno a la NSO y compuesto por personal familiarizado y con experiencia en distintas áreas dentro de la organización. Esta estrategia trae aparejados beneficios – como por ejemplo que el personal de diversas áreas y disciplinas debe reunirse para tratar problemas de calidad, analizar requisitos, acordar prioridades y discutir costos y beneficios; y que el personal se familiariza e interioriza con los diversos conceptos, instrumentos, políticas y mejores prácticas de calidad como consecuencia de revisar y completar cada una de las secciones de un marco genérico – y presenta desafíos que incluyen lograr un entendimiento común de lo que realmente es la calidad, especialmente en los países en los que existen múltiples productores de información estadística. En estos casos, es necesario establecer una coordinación y comunicación efectiva entre todos los miembros del NSS para acordar un marco común y lograr el compromiso de armonización de la información, las normas y otros aspectos de la producción de información estadística.
2.4.3 Revolución de Datos
El volumen de datos a nivel mundial está creciendo de manera exponencial. Un estudio estimó que el 90% de los datos existentes en el mundo fueron producidos durante los últimos dos años [2]. No sólo el volumen sino también los tipos de datos disponibles han crecido exponencialmente debido a la evolución de las tecnologías digitales y su impacto en los comportamientos sociales. Todos los actores del ecosistema – incluyendo gobiernos, industrias, el sector académico y la sociedad civil – se deben adaptar a esta nueva realidad y deben estar preparados para continuar adaptándose a un mundo que produce cada vez más datos, que se generan más rápidamente, y que provienen de nuevas fuentes. Esta nueva realidad se define como la “revolución de los datos”. El concepto fue introducido por primera vez en el año 2013 y se define como “una explosión en el volumen de los datos, en la velocidad en que los datos son producidos, el número de productores de datos, la difusión de los datos, y el rango de cosas sobre las que hay datos, que provienen de nuevas tecnologías como los teléfonos celulares e Internet, y de otras fuentes tales como los datos generados por los ciudadanos” [46].
Para cumplir con los objetivos de los SDGs es necesario hacer frente y sacar ventaja de la revolución de datos para el desarrollo sostenible: la integración de datos nuevos (como los datos generados por los ciudadanos y los datos recogidos de las redes sociales) y datos tradicionales (la información proveniente de las encuestas y censos) para producir información de buena calidad que sea detallada, oportuna y relevante para múltiples propósitos y para una diversidad de consumidores, y especialmente para mejorar el control del desarrollo sostenible [47]. La calidad de estos datos es crucial para la toma de decisiones apropiada y que implique mejoras que promuevan el desarrollo nacional para lograr los objetivos y las metas de la Agenda 2030.
La revolución de datos, como cualquier otra transformación, presenta nuevos riesgos. Uno de los desafíos principales para el control de las metas de los SDGs es minimizar los riesgos y maximizar las oportunidades que conlleva la revolución de datos para el desarrollo sostenible. Entre ellos, el crecimiento de la división de datos – la brecha entre quienes tienen acceso a datos e información y quienes no – es uno de los más importantes. La falta de equidad en el acceso y la utilización de los datos debe ser tratada de manera adecuada para reducir las diferencias entre los países más ricos y los países más pobres en materia de información. Una de las formas de administrar estos riesgos y explorar las oportunidades es a través de la mejora de las capacidades científicas de los países. Para esto se necesitan recursos y soporte, tanto nacionales como internacionales, especialmente en los países en vías de desarrollo, para poder obtener estadísticas oficiales de buena calidad, que son fundamentales para que la revolución de datos realmente contribuya al desarrollo sostenible. Las entidades estadísticas tradicionales deben comprometerse a integrar no sólo las nuevas fuentes de datos sino también las nuevas tecnologías y herramientas para el análisis de datos.
Una de las paradojas en la producción de datos para los indicadores del desarrollo sostenible es que los países que presentan la mayor necesidad de datos de calidad para los indicadores son los mismos países que se espera sean los