Tabla 4-5 Subsistema de presentación multimedia
Presentación Multimedia
C1.- Descripción General
Se entiende por presentación multimedia en una aplicación de realidad aumentada, a la reproducción de contenidos digitales que representan la información virtual que recibe el usuario para completar la información real que capta con los sentidos. Existen diferentes tipos de contenidos multimedia que pueden ser reproducidos por este subsistema. Una presentación multimedia generalmente combina contenidos de diferentes tipos de información digital. Los tipos más habituales de contenidos multimedia utilizados en una aplicación de realidad aumentada son vídeo, audio, imagen y texto, además de los contenidos 3D estáticos o dinámicos presentados en el subsistema anterior.
Multimedia Vídeo
Se entiende por reproducción de vídeo, la presentación sobre el dispositivo de visualización de una secuencia de imágenes de forma continua.
En este caso, la reproducción multimedia consiste tanto en la visualización de ficheros de vídeo pregrabados, como la presentación de la señal de vídeo aumentado generada en tiempo real por el sistema. La señal de vídeo generada en tiempo real se corresponde con la combinación de la señal real capturada por la cámara junto con la imagen virtual
generada por el sistema.
La reproducción de un fichero de vídeo conlleva el envío de una señal de vídeo al dispositivo/tarjeta de salida de vídeo que será visualizado en la pantalla (dispositivo de visualización) del dispositivo móvil.
Multimedia Audio
El subsistema de presentación multimedia tipo audio es el encargado de la reproducción de archivos, en formato de audio (wav, mp3, etc.) previamente grabados o generados digitalmente.
La reproducción de un fichero de audio consiste en el envío de una señal sonora al dispositivo/tarjeta de salida de sonido del dispositivo móvil.
Multimedia Imagen
El subsistema de presentación multimedia tipo imagen consiste en la reproducción de información gráfica (jpg, gif, png, etc.) previamente almacenados en formato digital. La reproducción de un contenido multimedia de tipo imagen conlleva el envío de una imagen al dispositivo/tarjeta de salida de vídeo que será visualizado en la pantalla (dispositivo de visualización) del dispositivo móvil.
Multimedia Texto
El subsistema de multimedia texto consiste en la reproducción de archivos en formato de texto (txt, pdf, pwi, etc.) previamente almacenados.
La reproducción de un fichero de texto conlleva el envío del contenido del fichero de texto al dispositivo/tarjeta de salida de vídeo que será visualizado en la pantalla (dispositivo de visualización) del dispositivo móvil.
C2.- Modo de Funcionamiento
La información a visualizar mediante este subsistema se corresponde con ficheros de información multimedia. Se abrirá el fichero con la información correspondiente, se leerá la información y se visualizará/reproducirá en una zona de la pantalla. Cuando el contenido digital es sonoro se reproduce a través de los altavoces del sistema.
Para cada uno de los tipos de contenidos definidos se presenta a continuación el modo de funcionamiento.
Multimedia Vídeo
Cuando se trata de la reproducción de una señal de vídeo pregrabada, la reproducción de vídeo requiere inicializar el dispositivo, seleccionar el contenido a reproducir (nombre del fichero) y abrir el fichero para su reproducción. Será posible controlar la reproducción del fichero mediante acciones como: pausa, reinicio, finalización prematura, etc. Mediante propiedades se controlará la velocidad de reproducción, tamaño de salida, etc.
Multimedia Audio
El funcionamiento para la reproducción de audio es muy similar al del vídeo. Para reproducir un contenido sonoro será necesario inicializar el dispositivo de salida de audio, seleccionar el contenido a reproducir (nombre del fichero) y abrir el fichero para su reproducción. Será posible controlar la reproducción del fichero mediante acciones como: pausa, reinicio, finalización prematura, etc. Mediante propiedades se controlará
la velocidad de reproducción, volumen, tono, etc. Multimedia Imagen
Cuando se trata de la reproducción de un fichero de una imagen pregrabada, la reproducción de la imagen requiere inicializar el dispositivo, seleccionar el contenido a reproducir (nombre del fichero) y abrir el fichero para su reproducción. Un subsistema avanzado ofrecerá la posibilidad de controlar la reproducción de la imagen mediante acciones como: zoom in, zoom out, fit in, fit out, rotar, etc.
Multimedia Texto
Cuando se trata de la reproducción de un fichero de un texto, la reproducción del texto requiere inicializar el dispositivo, seleccionar el contenido a reproducir (nombre del fichero), abrir el fichero y procesar el contenido para su presentación. Un subsistema avanzado ofrecerá la posibilidad de controlar la reproducción del texto mediante acciones como por ejemplo scroll del texto.
C3.- Interfaz Entrada:
¾ Visibilidad (on/off)
¾ Play, Pausa, Stop, Restart (para el caso de reproducción de audio o vídeo)
¾ Posición 2D (para la presentación de información en 2 dimensiones)
Salida:
¾ Final (on/off). Cuando se trata de la presentación de un contenido que se está reproduciendo en el tiempo (audio o vídeo)
C4.- Soluciones Existentes
Multimedia Vídeo
La reproducción de contenidos de vídeo consta de dos procesos estrechamente ligados pero que pueden ser desarrollados de forma independiente y secuencial. El primero es la decodificación, existen multitud de formatos de vídeo y al mismo tiempo varias librerías que facilitan la decodificación y conversión de formatos, entre otras FFmpeg [140] y Theora [141]. El segundo proceso es la visualización del stream de vídeo generado en el proceso anterior. Para este propósito existen también librerías conocidas como LibSDL [142] o DirectShow [143]. En ambos casos existe soporte para dispositivos móviles basados en WindowsCE.
Multimedia Audio
Entre las librerías de audio para dispositivos móviles cabe destacar, Hekkus Sound System [144] y Fmod [145]. La primera con soporte para las principales plataformas móviles (WinCE, Symbian, iPhone) y plataformas PC de sobremesa (Win32, Linux) entre otras. La segunda está muy extendida en la industria, especialmente en el mundo de los videojuegos y soporta también las principales plataformas móviles y de sobremesa. En ambos casos se trata de librerías de uso libre para propósitos no comerciales.
reproducción de ficheros de audio en los formatos más habituales. Por ejemplo OpenAL [146], Audiere [147], etc.
Multimedia Imagen
Librerías de visualización de contenidos 2D se pueden encontrar tanto para entornos PC como PocketPC. Aunque hay librerías específicas, también las propias librerías de interfaz de usuario gráfico (GUI) o las de visualización de contenidos 3D dan soporte a la visualización de este tipo de contenidos multimedia.
Una de las librerías más utilizadas para la carga y visualización de imágenes de diferentes formatos es DevIL (Developer’s Image Library) [148]. Soporta los APIs de OpenGL y DirectX entre otros y se utiliza en librerías de visualización 3D como OGRE. Entre las librerías de visualización que incluyen funcionalidades de representación 2D se encuentran, entre otras VTK [149] y GTK+ [150]
Multimedia Texto
Las propias librerías de interfaz de usuario gráfico (GUI) proporcionan soporte para la reproducción de información textual.
C5.- Aspectos Críticos
Los aspectos críticos de este subsistema tienen que ver principalmente con el gran volumen de información que representan los contenidos multimedia. Cabe destacar los siguientes:
¾ Volumen de información transmitida si se ejecuta en el servidor.
¾ Orden de llegada de la información igual que orden de salida y sin retardo para que la reproducción sea coherente.
¾ Presentación en tiempo real y sincronizado, mínimo retardo entre imagen real e información digital.
¾ Capacidad de almacenamiento de información en el dispositivo móvil.
La siguiente figura (Figura 4-9) muestra una descripción por niveles del subsistema de presentación multimedia.
Figura 4-9 Subsistema de Presentación Multimedia