TQB: Accessing Multimodal Data Using a Transcript-based Query and Browsing Interface

!

"#"" $ % &

' ' ( & ) ( * (+ , * * ( &) * (+

+ (& ( ( (+ * $ *, &, & ( * * ', * - ' &&

' ' ( , *' ( * & ''&( * + $ + , , & + ( +

+ $ * - + ' ( ( + + + , * $

( + ( ' . $ * ( / 012 + & 3 (+ $ $

$ + , ( & 01 , & + (4 + , &, * & ( !

& & ' ' ( && ' $ + ( ' + ( + $ && ,

!"

+ ( * ( (( * * ' , * * & * , & , & + + + , &, & + , ( , 5 ( ''&( . + ( ' ( &% 5 , &$ 5 , &, & , * ( * , , + & + (

' ( && & + (& $ + $ + $ + &&$

'' (+ + & * * , ( ( / 012 + , * $ ' & ( ( (+ ( & & ( + + , * + & (( ( 01 ' + ( ( ,'&5 , ( / 62

''&( (+ ''&( $ & & ' '& $+

, */ ( , * , *2 ' '& $+ $ $ ' ( ( ' , * + + + (+ ' ( & ' ( , ( ( + , * + $ + ( ,, ( , & + $ ( + ' ( , ( 5 7 ( + 4 ( (( , * $ & * & + ( (( ( '

4 $& * , , $ & + &' + &

( , 4 *' (

( # + (& $ $ ,

( + * ( 6

''&( + & , &

( & ( 8 + $+ (+ ( (+ $ $ + 01 $ $ ( ' ' ( $+ & + , ( & '' * + , & ( 9 ' ( & + (4 + , &, * ( ! & & ' ' ( '' ( :

& * + ( + $ && ,

#"

$

+ * 01 $ , &

+ , & ( ' ;( , *

6 , /- && 7& < &&, # 2 * + $ +

+ ;( , * (& + ( +

& &'

6 ''&( $ ( & +

+ + , *

& ' ( +

, &4 & , & + $ .

+ ( , * /= $ 4 ' ( 1 & < ! , * # 2 #"!" % + + , ( + , ( ,' ( (+ . , & *+ + * (+ /1 # #2 + , * && + + , + ( ,, ( (+ & $+ & + , + , , ( ,, ( + *+ + (+ & ! , , ( ( , & , & ( ( + *+ , 5 ,'& , & /( , 2 & * ( , / ' 4 $ * & * * 2 * '+ ( , /'( * '+ * , 2 * , + (. * 6 ''&( + ( * , & ( + $+ & * . ' ( * ' & + ,

, & ' & + & ( + &, *

( + + ' ( + & & *

' ( 3 ( $+ & ( , , ( '+

$ ' ( ( * % +

&& & ( ,,

! * + ' ( * , * ( *

+ 5 ( + , & , + + *+

, & ( '' (

(( ( / ' (+ & &

( '2 , * ( , / '

& 2 + & , & ( 5'

/ , 2 + ' + ' ( ' / , 2

( , & ( + ( + ' ( , * ( * 7 ( (+ ( ( / (& * , ( 2 ( & * * / ' 4 $ '& 2 + ( ' ( + , ( ,' &* & . ( . $ ' + &. ' , (+ , (+ &* ( + ' + , * * , ' . $ ( (( , > , , ,' (+ 4 ( * ( ,'&5 ? ( @ ( * , + ' ( , * #"#" & &(+ ( + 01 (

$ & /' &2 &

$+ (+ $ , , & , * $ ' &, 5' , + ,' * . , , * $ /$ + ( (& * + $ ( , ( "2 , ( + ( , & + + . ' ( *( ' & $ & /= $ 4 ' ( 1 & < ! , * # 2 + ( + *+&*+ + ,' ( (( * + , * ( * / 2 + ( ' + , * ( , , + , * ' ( ' &( ( > + , , ? *@ + + , &* & , * + + $ + ,' ( & . ' ( *

& $ ( ,'&5 . ( , * &

, & , + , * >

+ * $ + ' ;(

A $ &&+ ( , +

( & ,'&, * & ( 01

+ * '+ ( & ( + * (( + + & + ,' ( ,'&5 ' ( * . 0 ( & (+ ' ( ( ( , * $+ (+ + ( 5 + , * ( $ + ' '' (+ + ' ( ( & / , 2 + , + $ , * ( * * + $ + + + $ + *+ , * ' ( * + * ( ' ( ,' & * + ,

( ' & 4 + , & ' ( & +

(4 + , * ( , + (4

& ' && (( &B + $ + &&

, & ( '' . &$ (

' ( ' (+ * ' + *+ , *

/ , ( 2 01 + ( ' (

$ + . $ * ( '& * (+ , &,

* + & + ( & *

&' + , &, &, * *

' ;( /- && 7& < &&, # B = $ 4

6 ;, < 1 # 92

'"

+ 01 , * $ &' $ + & *

' ;( , , &, & , , * , /

!(4 $& *, 2 ! , , &, & , *

( ' $ &' $ + + ' ;( + ' + , * $ ( , , * , / && C ! * 1 4 & D + D + & + *+2 + (( * ' ( && (( *, * + ( ' ( + ( , & ' ( * ' ( , &&( ,' + & & ' + *+ , & /+ '3 ,,, '(+2 $ + ' &(

' ( (& + &&$ * (

, & 3 /+ &' & 4 ' , 4 2

/ & *& & ( , 2 & + $ '

$+ ( ' * $ ( ,

/- && 7& < &&, # 2

'"!" (

+ , ( , &, &, * ( *

& & & & " &$

(( * + ( / ' ;( 2 + +

, ( + ( '( && (+ ( '

( ,' /* ' , * 2 $+ (+

, , ( ' &

, * !&& + ( * ( & +

(4 / ' &(+ &2 +

( ' , + , + & / ,

(+ &2 ( , ( ' + & &

( + 5 ( ( D 5 , = * ! 6 E95 : ! D ( &* ( ( , 4 ' F C ! : 5 9 ! G D ( ' H5 8 ! G C D ( &* ( ' '( # ( 7 * ## 5 "9 ! G C 76 ( # ( ! ;( / * *2 I" + ! G C D &* ( , ' ,, ( F * F

& "3 $ & & , &, &, *

! , 4 $ + F ( & ' + ( ' /!3 G3 3 ( ' C3 ( , # (3 ( ( , 2 + * 6 ( ( ' / * & # 82 ( , % && (( *, * $ + + + C ! ( ' / ( $ & # 82 ( + ( ' , * + ( * + C ! , *6 , 6 ( + , , * , + , *

& * & ( ( B , + , $ (& + ! ( ' + ' $ , * ( + 7 * / $ % & 2 7 (+ $ , * + + * + ( , ( , ( + ( , ( ( , * / ' ( 1 & < = & # :2 7 && + , * ( ' ' ( +

' ' ;( ! / & & # :2 &&

' ( $ && ( , ; (

, &, &' ( * ( ( & "

+ , * ( + ,

* 6 , (( ,' ,

, $+ (+ , & "

+ $ (& & + $ + & +

&&$ *+ $ $ * & * ,

'"#" ! , ( & + , * ( (+ ( $ . + , + ( $ * & ' ' $ , * ,, % $ + + * + &&+ , , (( & + + $

+ + &&$ &* / C!2 , &

( & & $+ / ' ( 1 & & # 92

( ,' , $ + ,

+ & + , (

- & + + ( , *

, & ( & * * &*

& ( , + $ * , ; & + , &* ( ' + , * $+ (+ ( * , ( ' (+ ( * $ + & (( ( / &(4 & # 92 + ( ' + ( ( , /= & & # 92 + ( ' + + &&$ * (

& 3 *, &(+ &

& & * ( $ + &* (

/ * , . ( ,, ' & , 42

*, + , * + , (

& & * ' $ + & 4 $ ( ,

' (+ &* , * 5'&( ( ( ,

+ ! , * ( ' , (

& + ( & $ *

/ & "2 & ' + ! ( ' $ &&

$ + && + , + ' ;(

+ $ , , + (

+ + + ( + + , ( '

7 &', & ' ' $ +

+ , * $+ & 4 ' * ,

+ && , C! ' $ & *

,' ( / ' ( 1 & & # 92

)"

*

01 $ , & * ' (( + ( ' + , * + $ && + , * ( , + ' ( ( + , , ( & , * ( + , ( * * , * $ ( & $+ + + $ + + ( ' ( , * , &'& , * /' & $ + ( , * (+2 7 * "3 & + ( &( * , *

' ( * 01 ( (+

$ * , * , $ + + &

' & &( , * , + ( &&(

+ & , * , ( + , * &(

+ ( ( * &( + ' & &

+ . + ' ( ( , * + (

, * + * , , * &&$

+ &&$ *( & ,

)"!" * +

+ ( (+ + ' ( & ( +

( 01 '& + & +

, / 7 * "2 + , +

(+ & + &( , * $ + ,

' & & (+ + , ( ,' + &

, + & + ( & +

&&$ * ' , & ( 3 ' 4

' 4 $ &* ( ( , , & $ / + ( , ( ' ( ( *2 + & + . + ( + , (+ + ( '& ' , / '( *+ 7 * " #2 7 ( + 5 ,'& + $ 7 * # / 5 ' * 2 + (+ && + . 4 4 / + ' ( ' 2 $+ (+ ( + * ?1 * = $ 4@/ + , , ( * + , *2 * & + ' $+ (+ + & * + ( , + + ( , (+ * + ( '& / ( ' 2 + ' *+ , + + ( & + , + + $ & 4 * + ( + ( + ( *' $ + , * , + ' ( ( &( + ( 1 (&(4 * + ( / + + + 5 ,'& 7 * #2 + ( ' , ( && $ + ' + ( + ( $ * + , * $ 5'& + &&$ * ( )"#" ,( ( + ( & ( & * 01 $ * + , &, &, * + ( ' + , * ( , ( + $ , ( &,

(( ' * + ( 01 + + (& &&

& + ' + , + ' & 4 &

( + ' ( , /7 * "23 + &

' $ + + 4 $ + ( ' ,

+ & ( , ' * / * & 2 + ( ,

, + & ,'& $ +

& & , $+ (+ ( & ( (

, ( && $ + ' , ( + 5

,, + ( , , & (& &

? ( , @ ' + $ + ' ( ' 4 , + / + & , , *+ (& 2 $ + + , ( & ( + ' ( ' " 1 $ * + *+ + , + ( (( + /(&(4 * , ,' ' + '& 2 ( , ( ' &* , 3 (&(4 * * 5' ( && + ' ( ( , " , + ( * , % , &(4 + *$ ( + & , . ! ,, + & ' ' ,'&, + ( & '' + 5 ( + & ( + 01 * ( &, * (+

$ * $ && & 5' , && +

+ *+ ( ,' ( ,' * + 1 ' ( &/ ( :2

-"

&

+

01 $ * & + ( & (( & + *+ $ $ 01 &*+ $ *+ ( ' ( + + 3 /"2 + . ( & ,'&,

& & + , &

+ ( 'B /#2 + + ( $ * (

& , + J = ( '

& * J = & + + ( &

+ & * & + + & 4 $

, & / ( ' ( ' ( , 2

-"!" .

+ J = ( ' * + C!

( ,' / ( 8#2 $+ &

+ * &, & &

+ ( + &( + ( + 5 & ( ' (+ , * ! ( , + ( & ' (+ ( + * ( 5 , ' , ,' + ( ( ' + & ( (+ ' * ' 4

& ' & &* ( & ( , &

( + & + & + (

& + , + + 5 & +

, ,' & + ' +

* 0= + + *+ K ' * ,

( * + , & , * J =

& + & * + , * * & 0= ,'

(

+ ( & + &% + *+

(& ''&( ,'&, * K

* (( + *+ !' (+ ,( &

/+ '3 ,( ' (+ *2 + , (

* (( , + & + $ + +

' & & && '& , ( (

+ & (+ , * 1 + ( ; ( &&

+ . ' , + + 0= . + , ( && * + * 0= + ( + (4 '& + , $ + + ' & 4 + ' + , * $+ (+ $ ( ( + & ( , * -"#" % % + + , + & , ' ( * ( + &$ , $+ (+ ( + & ( + * & , * + $ + & ' ( * + ,

&* , + , &$ + + & * $

7 * #3 G $ + ( .

! * 01 + (&(4 +

( , + &(

+ + & ( / & + ( &

, 7 * "2 ,'& $ + ( ' , + ( , & & ,' + , & * & $ * + + ( , ,'&, A = K ( ' ( ( , ( && (+ ( ' , + J = & !(( + ( + 6 && , + A = ( ' &

+ * * + ( & $ &&

(( * + , , 4 & ,'& J = , (+ , D ' ( & $ $ & * 013 $ ( & $ A ( ( + 01 (

/"

0(

/"!" 0 0( ! 5' , &( ,' & , *

$ , 1 $ /- && & # 92

1 / $ & 2 ( + ( , *+ , * $ , ( + $ $ && , + * ' (( ( + , ;( $+ + $ $ . & ( , (+ , * + + ( + & . + ( + $ + . ' ( ' ? @$+ 4 ( ' & , , $+ $ + ' + , & ( & + , * + 4 + ;( + * + + , + & , (+ ' 7 ( + . + $ 7 * # ( & + ' ( ;( * , * +

&&$ * ' 3 /"2 + , &&

&( $ /#2 + , &&

&( $ + ( ' &

7 * # + ( ' * ( + +

, +

+ ' ( &( &,

( ,'& + , $ * $ , * ,

+ ! ( ' + $ &( + && & *

1 & + $ & +

(& ( '&(

* $+ (+ & . $ & ,'&( &

(& + $ & ( + &

&% (+ ;( $ && *

, & $ , * + ' ( + ( & * + ( / 2 , * * $ ( ( & + , 5 , , , . 5 , , ! $ , 01 $ && , & & + '3 $$$ ( * (+ ' ;( ,# + ( 1 ( ,' * $ + , * +

+ & ' &(& & (+ + C !

, *( ' / ( $ & # 82

/"#" +

( + , + 1 *

( $ + 1 ( & + $ + +

(( ( + ;( $ + 1 .

+ &** *, (+ , + $ ( ,' $+ (+ +

&* + , * & + + 5

(( * + , + (& * 01

( ,' &* && + . + $ + +

, ,' $+ & + + ( ,' ,

( ' , + ,

+ , * & & + +

( + ' & + , & , / &

+ * 2 $+ (+ '& ( , , * +

&* & ( + ( & + *+ $ $

$ ' , &** + ,

( &** 3 /"2 + ' + 6 &&

+ ' + ( && + , + ,

$+ + , + / 8

( ' 2B /#2 + ' + +

, / (+ + K ( ' ( ( && &* (+ ( &&

+ + & 2B + &&$ * '

, 3

• ( && + , 6 && / ' '

+ ( *2B

• (&(4 + ' & 4 + , 4 (

( , B

• (&(4 + ' & 4 , + & (

+ ( ' , + , + ( ,

, B

• (&(4 + ( &

. /L (+ & , 2

+ & + &** ( $ && (

+ , & 01 + , ( &

, B ' 5' ,

. $ &&+ &' * + & 01

1"

$

+ (+ $ * , (+ , $ ' '

' $ * + *+ , *

$+ (+ + & ' + '( , *

1 & ( ,' * 01 ,'& (

' & & (( * , &, & $+ (+

+ *+ * & 5 + '

, &, & ( * $ &&

.

+ $ 4 ' + ' + ( &, & , * , ' ;( / # + '3 $$$ ,# (+2 + $ D & ( ( 7 + *+ + D 6 ' * , - $ & &4 + 4 4 7& / C ! * 2 + + &'$ + + * + &** *, (+ , 01B K & / *+2 + &'$ + + ! B + &'' 1 / 2 && , (

%

1 D /# #2 &, & = * * ' (+ , 7 , + C * '' & 1 M, C A N & / 2

C (+ N&$ !( , ( & + '' O8" H

& K ! + 1 7& &&,

A N &( K N 4 G N ; -N + & = + = ( & = $ 4 ! ( $ - 6 , C - && /# :2 + ! * ' 3 ! ( , 6 & 1 * / 2 1 & ' * G &* '' #H8O

= & C * & 6 6 %C 1 + ! 4+ &

C ' ( 1 & ! /# 92 * (

C ( , ( + , ( (

&, * ! (+ 1 * A

1 & / 2

1 & ' * G &* '' HE"

= $ 4 ! ' ( 1 & ! ! , * /# 2

0 ! & + ' ( (

& C &* ( * 6 &

, ! "#$ %&&' ('

$ " # )

= * & & G '' OO8OO:

= $ 4 ! 6 ;, 1 A /# 92

!6 A G 3 ! , !(( * +

6 ( &, & * 1 * A

1 & / 2

1 & ' * G &* '' #O" 8

( $ 1 * ( % C = +

7 C - && 1 & A

/# 82 & * A , ( * ! $* ! %&&+( $ * , , ! ) A * N * + * D 1 C 1+ * A C+ && 6 $ K ! & C K ! N ' 4 ! 4 1 + * &(4 ! -/# 82 * * 3 6 (+ ' (+ &' ! $* ! %&&+ ( $ * , , ! )A *N * +

' ( 1 & ! & 4 ! * ( & P

= & C /# 92 + &&$ C &* ( *

* (+ = * !&* +, / 2 1 * A 1 & / 2 1 & ' * G &* '' #EE#O ' ( 1 & ! = & C /# :2 C ( 6 & 6 ( *C ( , 6 & 1 * / 2 1 & ' * G &* '' : E9 &(4 ! ! * J 1 4 N %&7 K ! &! 4 1 - P+ * K /# 92 7 + * *6 ( * 3 + 6 ' * # 9 ' (+ 5 & , ! - %&&. " / *+ N

- && 7& &&, /# 2 1 $ *

6 ( * & ' ( !,

&&* , ! $0 %&&'

/ 1 * 1 G

!

- && 7& (4 - + 4 /# 92

! * 1 $ & !

$0 %&&. ($ 0 2

$ ) & 6 ! '' # #"