Los métodos de medición tradicionales
Hasta la fecha para medir el éxito o el fracaso de una exposición virtual se han utilizado programas de análisis de los accesos. Si bien estos programas proponen una visión solo parcial respecto al funcionamiento de un recurso virtual - especialmente en ámbito cultural - el análisis de los accesos ha sido ampliamente utilizado para demostrar el éxito de una iniciativa y, a veces, para justificar el propio trabajo de cara a las entidades que lo han financiado.
Sin embargo, el análisis de los datos de acceso a la página presenta diferentes tipos de problemas:
1. existen limitaciones de orden técnico que alteran a los resultados, 2. es imposible medir el grado de participación,
3. es imposible extrapolar datos de tipo cualitativo. Los problemas de orden técnico comprenden:
1. la presencia de tráfico no humano. Aunque algunos programas son capaces de filtrar estos resultados, cada uno de ellos mide el tráfico de la página de forma diferente causando inevitablemente errores,
2. cada programa mide los visitantes únicos de forma diferente (algunos a diario, otros semanal o mensualmente) a través de una combinación de dirección IP y
104
cookies. Si se eliminan las cookies y la dirección IP es dinámica el usuario que repite la visita será considerado como diferentes visitantes únicos,
3. diferentes programas aplican también diferentes criterios para considerar caducada una sesión. Además, con la difusión de los nuevos navegadores multitab resulta imposible determinar si el usuario está realmente navegando en la página o ha simplemente abierto un nuevo tab.
Así pues, si en el museo físico es posible discriminar el tiempo en el que la persona tiene algún tipo de descuido, resulta imposible hacerlo en el espacio virtual. De hecho, el programa Live Stats así como otros programas de análisis de los accesos, mide el tiempo en que cada usuario está conectado a una página Web independientemente de que el usuario este consultándola (Carreras. Munilla, 2005, pp. 164, 165) causando un alto grado de error en la medición. 4. la difusión de la tecnología AJAX y de los contenidos video hace difícil medir
las visitas por página presentando información actualizada dinámicamente. De hecho, la función dedicada al Convertion Rate funciona en el caso de páginas
estáticas en las que el usuario navega para completar un task mientras con AJAX
es posible completar un task sin cambiar de página,
Además, como hemos visto, los métodos de medición de los accesos, procediendo del ámbito de la publicidad y del marketing, donde la relación entre medio y público es definida mediante el tiempo de exposición, no proporcionan datos sobre el grado de participación de los sujetos involucrados, factor fundamental en ámbito digital. Así mismo el análisis de los accesos impide recoger datos cualitativos, por ejemplo, sobre las motivaciones de acceso o la probabilidad de repetir la visita.
Por este motivo en nuestro caso el análisis de los logs se ha mostrado
útil exclusivamente para complementar la investigación con datos relativos al:
‐ lugar de origen de los usuarios, ‐ número de páginas visitadas,
‐ tiempo medio de permanencia en el sitio, ‐ porcentaje de nuevas visitas,
105
A este respecto tenemos que precisar que solo el Museo Mart ha accedido a proporcionarnos este tipo de información obtenida mediante Google Analitics entre el 28 de noviembre 2007 y el 27 de diciembre 2008.
La disgregación de contenidos y la medición de la participación.
La nueva tendencia generada por la difusión de los medios sociales y del contenido distribuido ha hecho del análisis estadístico de la sola página web una técnica de medición obsoleta. De hecho, para determinar el éxito de la propia implicación en las redes sociales o en otros entornos multiusuario como Second Life es inevitable tener en cuenta el grado de interacción y la calidad del diálogo que se produce en estos espacios, más que el número de amigos y seguidores.
Las instituciones culturales, pues, para justificar las inversiones realizadas en las plataformas sociales deben acudir a nuevas estrategias como, por ejemplo:
1. monitorear la información sobre el museo presente en Internet y la respuesta del público,
2. medir el nivel de ‘engagement’ (participación) mediante el grado de
autoadministración generado por la comunidad vinculada al museo, 3. obtener datos más detallados sobre el perfil de sus visitantes.
Sin embargo el uso de programas estadísticos para el análisis de la participación - aunque proporcione datos de carácter más cualitativo - se muestra igualmente insuficiente para lograr nuestros objetivos. Estos, de hecho, resultan más apropiados para determinar el nivel de autoadministración de la comunidad y permiten un análisis solo parcial de la experiencia de los usuarios finales, en cuanto: 1. resulta imposible efectuar un seguimiento cronológico de sus acciones. La dificultad
de analizar el recorrido realizado por el visitante en el espacio virtual según un criterio secuencial es debido al hecho que los contenidos y los servicios no se encuentran en el servidor del museo. Los usuarios, de hecho, pueden pasar de la página institucional a las aplicaciones sociales para volver luego a la página corporativa durante la misma visita.
106
En los programas de análisis de la participación, además, es imposible detectar de donde vienen los visitantes o cuáles son sus intenciones. Asimismo, no queda constancia de cómo se utiliza el contenido del museo una vez que esto ‘sale’ de la página Web, de cómo es la ‘experiencia’ de la visita, de cuánto tiempo invierten los usuarios en el espacio virtual y si tienen la intención de volver (Chan, 2008).
2. no pueden describir la experiencia de los usuarios ‘pasivos’. La mayoría de los programas, de hecho, tiene patrones para medir la participación pero no parece interesarse en los usuarios potencialmente activos de modo que sus propósitos y sus motivaciones quedan desconocidas (ex. Facebook Insights registra solo la actividad de los amigos y, además de los datos personales, recoge únicamente el número de interacciones, comentarios, reconocimientos y mensajes).
3. ofrecen solo datos relativos a la plataforma considerada. De hecho, las aplicaciones para el análisis de la participación se limitan a describir la relación del usuario con el entorno sin tomar en consideración su actividad real dentro del espacio controlado por el museo, ni su grado de implicación más allá de esto. El conocimiento obtenido, por tanto, sería excesivamente fragmentado y no aportaría ninguna comprensión de la acción del público.
4. los datos obtenidos ayudan a tener una idea del aumento o de la disminución de la participación de los usuarios en un espacio pero no proporcionan ninguna información respecto a:
a) las tendencias del público virtual, b) las mutaciones de sus prácticas en el tiempo, c) la satisfacción de sus expectativas y el propósito de repetir la experiencia, d) su intención de realizar una visita física, además de otros posibles factores.
Los datos de los programas de análisis métricos de la participación se han utilizado, por lo tanto, para complementar la información obtenida respecto tanto a las características demográficas de los usuarios de los espacios participativos y su procedencia, como al grado de difusión del contenido cultural por parte de estos.
Sin embargo, los datos procedentes de estos programas han resultado menos significativas de lo previsto, ya que hemos tenido dificultades en acceder a las estadísticas elaboradas en estas plataformas. Esto se debe a dos motivos principalmente, el primero es que la totalidad de las instituciones consideradas no realiza un seguimiento constante de lo que ocurre en las redes sociales vinculadas al museo
107
enfocándose a menudo solo en el análisis de una plataforma. Por este motivo hemos aprovechado sólo los datos estadísticos procedentes de Vimeo y de Insight (Facebook) facilitados por el Museo Thyssen y los datos relativos a la Community del Mart. El segundo es que en el caso del V&A Museum y del IMA los administradores de las redes no han accedido a compartir la información por problemas internos.