Round III for class III will be initiated in 2009-10.
Appendix 7 Learning Achievement Studies and the TC Fund: Technical Issues
La Tabla 18 agrupa los 26 descriptores finales definidos, clasificándolos en los tipos ya definidos en esta tesis, y asociándolos con el acrónimo que se les ha asignado para facilitar su identificación y con el lugar que les correspondería en la jerarquía de metadatos visuales establecida en el estándar MPEG-7.
96
97
Nº Tipo Descriptor Acrónimo Jerarquía MPEG-7
1 Imagen Tasa de blanco y negro BWR Structural Visual Color 2 Imagen Luminosidad media LUM Structural Visual Color 3 Imagen Varianza de la
luminosidad
LUV Structural Visual Color
4 Imagen Saturación SAT Structural Visual Color
5 Imagen Variedad cromática CRV Structural Visual Color 6 Imagen Entropía media ENM Structural Visual Texture 7 Montaje Duración media de
planos
ASL Structural Visual Narrative 8 Montaje Heterogeneidad de
duración de planos
VSL Structural Visual Narrative 9 Montaje Mediana de duración
de planos
MSL Structural Visual Narrative 10 Montaje Duración total VTL Structural Visual Narrative 11 Montaje Duración media de
escenas
ACL Structural Visual Narrative 12 Montaje Varianza de la
duración de escenas
VCL Structural Visual Narrative 13 Montaje Tasa de planos por
escena
SCR Structural Visual Narrative 14 Montaje Varianza de la tasa de
planos por escena
VSC Structural Visual Narrative 15 Montaje Tasa de fundidos FAR Structural Visual Narrative 16 Montaje Tasa de encadenados DIR Structural Visual Narrative 17 Movim Intensidad media del
movimiento de cámara
CMI Structural Visual Motion 18 Movim Complejidad media
del movim de cámara
CMC Structural Visual Motion 19 Movim Intensidad media del
movimiento interno
IMI Structural Visual Motion 20 Movim Complejidad media
del movimiento interno
IMC Structural Visual Motion
21 Movim Varianza de la intensidad mov cámara
CIV Structural Visual Motion 22 Movim Varianza de la
complejidad mov cámara
CMV Structural Visual Motion
23 Movim Varianza de la intensidad del mov interno
IIV Structural Visual Motion
24 Movim Varianza de la complejidad del mov interno
ICV Structural Visual Motion
25 Audio Tasa de habla SPR Structural Audio
26 Audio Tasa de silencio SIR Structural Audio
98
A continuación, se formaliza el valor de cada uno de estos descriptores. Es importante reseñar que se ha primado la eficiencia computacional dentro de las necesidades del sistema de extracción automática.
IMAGEN: Tasa de blanco y negro (BWR)
Porcentaje del tiempo total en que la imagen es en blanco y negro, Black and White Rate (BWR):
P' •‘ (
43
)Donde TBN es el tiempo de duración de la parte en blanco y negro y T la duración total del vídeo.
Para su extracción no es necesario el procesado de todos los frames que componen el vídeo, ya que su objetivo es dar una idea cualitativa del contenido percibido por el usuario. Es suficiente con comprobar la presencia de color en los key-frames extraídos. Esta idea se extrapola a todos los descriptores del tipo imagen.
IMAGEN: Luminosidad media (LUM)
Analizando cada imagen según sus coordenadas HSL (Hue-Saturation-Lightness), se calcula la luminancia media (Lm) de los K key-frames que componen el vídeo. El valor final será el valor medio de los valores de luminancia media de cada key-frame, siendo esta, a su vez, definida como el valor medio de los valores de intensidad de cada uno de los píxeles que forman la imagen.
o E o’“” •∑• o6 (
44
)IMAGEN: Varianza de la luminosidad (LUV)
Se obtiene calculando la varianza de los valores de luminancia media (Lm) de los K key- frames escogidos, empleando los valores medios (LAVE) obtenidos con el descriptor LUM.
o ! K– •∑ $o• 6% o’“”& (
45
)IMAGEN: Saturación (SAT)
Analizando cada imagen según sus coordenadas HSL, se calcula la media de la saturación media (Sm) de los K key-frames escogidos, donde la saturación media de un frame es el valor medio de los valores de saturación de cada uno de los píxeles que componen la imagen.
99
IMAGEN: Variedad cromática (CRV)
Se define la variedad cromática de un frame i (VCi) como la varianza del histograma de bins de colores obtenido de cada imagen. N es el número de bins. La medida final será la media de los valores de variedad cromática de todos los key-frames presentes en el vídeo.
!• •∑• 1 $P % P’“”& (
47
)!•’“” •∑• !• (
48
)IMAGEN: Entropía (ENM)
Se calcula el valor de la entropía de cada key-frame, empleando para ello los valores de intensidad de la luminancia, sobre sus N posibles valores cuantificados. Finalmente, se obtiene la media de esos resultados para los K key-frames que componen el vídeo.
n1E •∑• ∑ %a T$o & log o (
49
)MONTAJE: Duración media de planos (ASL)
Se calcula obteniendo el valor medio de la duración de los SN planos de que componen el vídeo. Estos son previamente obtenidos mediante los algoritmos de detección de cortes, fundidos y encadenados:
3~o ~’“” a∑a ~ (
50
)Donde N es el número total de planos del vídeo.
MONTAJE: Heterogeneidad de la duración de planos (VSL)
Se calcula obteniendo la desviación típica de la duración de todos los planos del vídeo:
!~o Kš ›a∑ $~ % ~a ’“”& (
51
)Donde N es el número total de planos del vídeo.
MONTAJE: Duración mediana de planos (MSL)
Se obtiene seleccionando la mediana del valor de duración de los planos del vídeo, es decir, aquel situado en el punto medio del rango de duraciones de planos.
100
MONTAJE: Duración total (VTL)
La duración total del vídeo se obtiene de la suma de las duraciones de los N planos que lo componen.
! o ∑a ~ (
53
)MONTAJE: Duración media de escenas (ACL)
Se obtiene a partir de la detección de escenas, calculando la media de la duración de todas las escenas del vídeo:
3•o •’“” ¡∑¡6 •6 (
54
)Donde M es el número total de escenas del vídeo.
MONTAJE: Varianza de la duración de escenas (VCL)
Se obtiene del cálculo de la varianza de la duración de las escenas detectadas en el vídeo:
!•o K– ¡∑¡6 $•6% •’“”& (
55
)Donde M es el número total de escenas del vídeo.
MONTAJE: Tasa de planos por escena (SCR)
Se obtiene calculando el valor medio del número de planos Nm de cada escena m, a partir de la extracción automática de planos y escenas.
~ ’“” ¡∑¡6 16 (
56
)MONTAJE: Varianza de la tasa de planos por escena (VSC)
Se obtiene calculando la varianza del número de planos por escena:
K–¢ ¡∑¡6 $16% ~ ’“”& (
57
)MONTAJE: Tasa de fundidos (FAR)
La Tasa de fundidos, o Fade Rate, se obtiene dividiendo el número de fundidos detectados por el número total de transiciones del vídeo:
_3 aL£ (
58
)101
MONTAJE: Tasa de encadenados (DIR)
La Tasa de encadenador, o Dissolve Rate, se obtiene dividiendo el número de encadenados detectados por el número total de transiciones del vídeo:
? aL¤ (
59
)Donde D es el número de encadenados del vídeo y N es el número total de planos del vídeo.
MOVIMIENTO: Intensidad media del movimiento de cámara (CMI)
En primer lugar es necesario detectar si existe movimiento de cámara. En ese caso, se aplica la fórmula de intensidad para aquellos vectores de movimiento asociados al movimiento de la cámara, es decir, aquellos que se sitúan en el borde del cuadro.
Como cada macrobloque (i,j) tiene un vector de movimiento (xi,j,yi,j)
E+ ¥∑¥§ ∑ ›*a , ¦, (
60
)•E+ a∑a E+ (
61
)Q es el número de frames que se utilizan de cada plano y N es el número de vectores de movimiento empleados.
MOVIMIENTO: Complejidad media del movimiento de cámara (CMC)
En primer lugar es necesario detectar si existe movimiento de cámara. En ese caso, se calcula un histograma de orientaciones de los vectores de movimiento asociados al movimiento de la cámara (situados en el borde del cuadro), y luego se calcula su entropía:
E• L¥ ∑¥ ∑a ¨$<&o©D$¨$<&&
§ (
62
)•E• a∑a E• (
63
)MOVIMIENTO: Intensidad media del movimiento de cuadro (IMI)
Después de haber obtenido la intensidad del movimiento debido únicamente al movimiento de la cámara, se halla el movimiento general de la imagen en el frame n (MVn), debido tanto a la cámara como a los objetos que se mueven en el cuadro. Esto se
realiza de forma análoga a la de las expresiones (60) y (61), pero considerando todos los vectores de movimiento de referencia dentro del cuadro, y no solamente los del borde. Haciendo la sustracción, se obtiene el valor de la intensidad correspondiente al movimiento de cuadro.
102
+E+ a∑a E! % E+ (
64
)MOVIMIENTO: Complejidad media del movimiento de cuadro (IMC)
La definición es análoga a la del descriptor CMC. La diferencia está en la construcción del histograma. En lugar de considerar los vectores de referencia del borde del cuadro, se consideran como referencia los vectores internos. Una vez obtenido su histograma de orientaciones, se restan los valores del histograma del movimiento de cámara, quedando reflejados, por lo tanto, los movimientos que corresponden a los personajes y objetos del cuadro. Sobre los valores obtenidos (MSn), se calcula la media aritmética, cuyo valor corresponderá con el del descriptor IMC.
MOVIMIENTO: Varianza de la intensidad del movimiento de cámara (CIV)
Se calcula la varianza de los valores obtenidos de MIn.
•+! a∑ $E+ % •E+&a (
65
)MOVIMIENTO: Varianza de la complejidad del movimiento de cámara (CMV)
Se calcula la varianza de los valores obtenidos de MCn.
•E! a∑ $E• % •E•&a (
66
)MOVIMIENTO: Varianza de la intensidad del movimiento de cuadro (IIV)
Se calcula la varianza de los valores obtenidos de MVn-MCn.
++! a∑ $$E! % E• & % +E•&a (
67
)MOVIMIENTO: Varianza de la complejidad del movimiento de cuadro (ICV)
Se calcula la varianza de los valores obtenidos de MSn-MIn.
+•! a∑ $$E~ % E+ & % +E+&a (
68
)AUDIO: Tasa de habla (SPR)
Se calcula la tasa de habla dividiendo el tiempo total en el que se produce habla (de algún personaje o de una voz over) por el tiempo total de duración del vídeo.
103
AUDIO: Tasa de silencio (SIR)
Se calcula la tasa de silencio dividiendo el tiempo de silencio que se detecta por el tiempo total de duración del vídeo.
~+ ª¬ (