A Model for Context-Based Evaluation of Language Processing Systems and its Application to Machine Translation Evaluation

!

"

#

$

! "#"" $ % &

' ( ( ) & ( & && * + , + ) $ -. ) + )/ %

/ ( ( $ ( ( * & * $ , / , )) / & ) / ) 0 12 * / ( ) / * ) & / * 3 ) ( ) & / ) 0 ( 4 & * &

0(& / $ ) ( + ) 0 ( ) ) && $ ) ( ) ( ) 0

4 & * & $/)/ ) ) 5 )/ * 0(

& & 6 & ), $& + ( & + / * )/ * ( ( / / * ( ) / $ , / 5 * $ , / & * )/ & $/)/ *(&* ( & / ( * & $/)/ ) & & +$ / +/ * / *

&'

(

/ $ &

+ / $ / / ! 2 + & / * & + + )/ &+ 782 9 & ( ( * &

* $ , / % & ( ) (

) ( / * $ , ) ) / &

( ) / ( & & ( 4 & )/ ) )

( ) )4 & & * ) *

)/ ( ) & * !&/ +/ /

*( ) & / + / &

4 * / 4 & * & / & +

) + % + ) )) / & )

& & / ( ( $ ( ( * $ , /

&&$ / ! 2 + & 82

& * & / & /

) 0 82 * / 4 4 &

)/ ) ) / / $ && & / +/ ( ) )* )

/ ( ( + % &&$ ) # $

/ ( * & $

4 & / ) : ) / + )

) 0 &4 & * &7 6 9 / & / )

( ) ( / ) 0 / /

4 & * & ) / $ / $ / * &) &

) * ( & & 0( & / +/ / ( ) ) ) $ ,&$ / 5 * $ , / & * )/ & $/)/ / * ( ) / ( ( ( & * ( ) ) & ) & ) ; & + $ / /

*(&* ) & & 5 && / ((&)

/ ( ( * & / * )

) <

)'

* +

( ,-

(

$

/ ="#< " ;=>

/ & $ & ( + &

4 & / ( ) &

$ / / $ & ) )& 7 "=== ? # "9 / & 0 &4 & $

* ) ) *( 0 )&

4 & )/ ) ) & ) & & &

& ) ) * & ( & ?

/ * / )/

)/ ) ) ( + )/( ) & * )/

&& & + / )/ * + * &

/ ( 4 & * & * )

) &&

!)) + " ;=>" 7 # @ ( "# + 9 / $ & ) )& $ / / & /

4 * / $ && $

/ $ $/)/ * $

( ) ) 0 &4 & 4 * A +

& &(* $ 4 & &

& / *(&* )/ ) ) /

$ A + / + ( &(/

) * ( & / / &4 &

/ 0 &4 & / 0 $/)/ / $

/ ( ) 4 * 5 && + ),

/ & 4 & / 0

$/)/ / $ && / &( & &&/ ,

/ ) 0 / (( /

) & & ) / 4 & * &/ ((& & $ / & ) $ ), $& +

/ ) 82 / ! 2 & $ , +

+ ( 7"==<9 ( ) ) * / & !! ( B) 7 !! "==<@ )/ ( 9 8 $

* ( ( ( & $ ( $

% * & ( / & )

( / &&$ + *( * 0 *(&

/ 0 $ " ;=> / 0 *(& ) ) / & , $ / + / & $ / ) & ( ) & / )/ ) 4 & * &7 "=== @ ! 0 C ( #" ##9 5 ) / , * $ * & ) *( 7/+/ + 9 / * & ) 4 / *( ) / 0 (( * 4 & )/ ) ) * B

$ &&@ &$ + ) & / *

*( + &)/ ) ) * & /

& ?$/ /+/ + & & ) * / * *( ( & / & 0 *(&

0 &* ) 7 )/ 4 & )/ ) )9 )) ( ) ) ( $ &&

/ ) 0 *(& ) /

& & & * * & ) ) & ) ) +

)& / @ * ( (&

/ ) * ) 7 "==>@

! 0 C ( ## #;9 !+ * * + &

)/ 4 / & * ) ) & & & & 4 / ="#< " ;=> ) & + ) / 6 D * &E 7!% * # "9 / ) / & ) / 4 & 4 * $ && / B) / #; : / F6 & D 4 * A G $/)/ &&

$ &* ) / $ / ( ( &

) *( & $ / / ) )

4 & 4 * 7 ! H !( &# :9

.'

#

/

/ &&$ + * $ , * & (

4 & * & / ) 0 / &

$ / * $/)/ ((& $ & * $/ * $/ & + + 4 & * )

& & / ) & )/ /

* *( * ) + / /

$ E ) $ & *( & ) &&/

( & $ / ) $ &

/ $ +/ )) + * )& )

/ *( ) / * ) / ( * $ ,

+ &% ( ( ( & / &

* )/ & & 7 ) ;9 ((&) &

& / ) *(&0 * 82 $/ *

* ) ) 0 7 ) <9 .'&' 0 *

/

( $ ,78 I +H ( ) C & # #@ ( ;; ;<9 $ + / 4 & * & ) &

( )& & + + )

((& / ) ( 4 & * ) )/

* * ( ) )/ )/ 1 &&) ) /

) * ) / ( /

4 & * & & / /+/ / ) ) /

+ / *( ) / * ) / 4 & * &

& ) + * / & &

/ / /+/ / ) ) / /+/ / $ +/ / ( ) ) / + ) 4 & * & + * & / )/ )/ ) ) )/ ) ) ( ) ( & / & / 0 * * & & / ) 0 4 * ) & ) & $/)/ )/ ) % / ( ) ) , / & * / ( / ( ( / * / ) ( +) 0 ) / ( ) ( + / / ((& / ( ) & ) 0 J" J / / J J & C & ( + * )

( $ & &&$ / ) + / *( )

)/) 0 $ / ( ) / /

/ 4 & ) ) C & *(& ) & & 4 & * ) / &

$ +/ / & ) / $ +/ / / & * + + ) / + / & ) / ) / ) / ) / * )/ * 4 & / && ) / * )/ 4 ) && / B) + $/ / + / & & ( + (/ ( ) ) & / , $ +/ + ) & $/ / & ) + + / ) / & * & ) * (&

$/ &&$ )& $ $ && &

) C & ) ) 0 4 & /

/ ) 0 *(& )

J((&) & J ((&) & + ) 0 4 & *(& J & J & $ / + 4 & * & ! * ) *(&0 (

/ C & ) 0 ) * ) 4 & ) / $ / $ +/ 4 & * ) .')' 1 / 21 / 3 3 ( ( & / ) ( ) ( / ) 0 )/ ) ) / / 4 & * & / +/ / ( ) )* 0 / + & 0( +/ $ * / $ / 4 & * &/ * & ( + / ) 0 / & $ / $ / + & + ( ) / ) ) 0 ) / * (( ( 4 & ) / ( 0( ) & 0( / & ) + / 4 & / & + ) 0 3 ( ( ) *( / & ) / ) 0 7 ) 9 / 4 & * &7 ) 9 + * 0 $/)/ $ ( % F+ )) 0 &4 & * &G

6 " 3 ) && / * 0 ( ( / /

4 & ) 6 ) ( + / ) 0 )

*(& /

)& (( / * & )

7 / / )/ ( & ) 0 )/ ) ) /

& & 9 / / 4 & ) 6

* & ) 7 / 4 & 9 / * 0 ) &* $ $/)/ ) C & * ) / ) / * 0 C & / / * 0( ) * & ) *( C & $ 7* &(&) * +J * * J 9 / * 0 C & / / ( )

) ) *( * ) && / & + 4 &

) ) & * ) ! *(& ( / 6 * 0 / / & $ ) $/)/ 4 & & / ) 0 )/ ) ) 1 * & ) ) ! / $ % / 4 & ! & / ) 0 )/ ) ) / 6 4 & * & + )

) ( ) $ && ) 0 && 4 &

)/ ) ) " 1 / / ( 6 / ) & $ / / 0 + 6 * &7 &E 6 E )9 $/)/ * / 4 & * * & $ ( B) ( ) ( ) 7* * / (@ &+ ) + $ 0( ) +4* /*9 / *

.'.' 1 /

/ ) ) / + ) ) ( )

$ ) 0 4 & )

) *(&0 , ( ) & + * / 6

/ & * / , $& + & 0( $/ & / 4 & )/ ) ) / & ( ) ) ( ) / ) 0 3 ( ( / )/ 0( / ( & + 6 * 0 7 + (( ( ) ) #9 / + / * ) ( & 0( ++ + 6 C & 6 ) / ) ++ + /

+ &+) & 7 & 4 & &) && 0( , ( 9 + 7 && &) 4 & , ( 9

/ 6 / / * ) /

* / , $& + / & $ ) 0

4 & / ( ( & &

( &+ /* 78 I +H ( ) C & # #9

$/)/ * & * &+

*(&* / 8 $ / $ /

( ) & / 0 * ) 0

4 & )/ ) ) && B) &

!)) + / ) ( & / & /

0 * ) & (( / ) 0 4 & )

$/& / $ & ) &

F ( G / & &$ / * / ) * ) &) $ / / ( & / * 4 & ) ( ) & * ) $/)/ (( / & E / * &

4'

(

5

6

$

/ / ( ( ) 0 (

& + & & ((

/ * )/ * &

+ / * & 0( / & /

* ) ) ) @ / / & &

& 4 & & ) 0 /

$ ( ( / &&$ + $ ,&$ )

) 3 ( ( $ ,&$

& 7) && F G9 0( / &

+( ( ) / $ ) +

4'&' # 7 0 $

/ & )/ 4 & * &

( ( & / ) 0 / * /

$ && & / ++ 4 &

* & ( + / ) 0 /

/ ( / & $ / &

)/ ) ) / ) 0 * + $/)/ / /

&) / / ) / ) 0

) / ) 0 )&), + F * G

/ ) (& / & 4 &

7 / &) *( 6 K 0 /

&9 $/)/ ) & ) /+/&+/ * + && / ( & 4 & ! / ( / / )/

/ * )7 9 / / $ ((& )/

&* ) ( ( / + &4 & * &

E + / * ) & * 8 $ /

&) ) ) ( ) **

)/ / * ) ( & / )

& & / & ) * ) &) / & ) / & (& $/)/ )

& / / $

* ( ) &

4')' 7 0 $

0( 4 & , $ ) 0

4 & & 4 & )/)/ ) )

/ ) 0 $/)/ * 6 )& & / 0( , + / $ / * 0 / && E ) * ( ( / 0( $ ,&$ 4 / 0( $ , )/) 0 )/ ) ) ( & / + / )/ ) ) 0 )/ ) ) $/)/ + ) * & / + / + & 0) ( / & ) 0 )/ ) ) / * )

&) / / $/ & & 4 & )/ ) ) (& &&$ + / 0( &)

/ & 4 & / ) 0 / $ &) / 0( ) / / & , ( ) / ) 0 )/ ) ) ** & & # ) & 0( / 6 / ) + ) 6 $/)/) + & 7 & 9 F G / $ / &&$ + ) 4'.' # 0 $ (( * / $ ( ) / / + & 7 & 9 / 0( / ( / $ ,&$ ) $ / / * ) / 0( , 4 & * &7$ , + ) 0 )/ ) ) 9 $/&

( &$ / ( ( 4 & * &

3 & / / ( & *

B 4 & * & / & & ,

)) / * )/ ) * )

)& + / ( )& ) 4 &

/ * , / ) $

0( & 3 ( ( / &&$ /

0( B 4 & * & &&$ + ) ** $ ,&$ ) 5+ " &$

) + & B 4 & * &

) & * / / &$ && &

0( / + & @ )/ ) &

* / 6 ) &

/ +& & ( +& & + + / ) ** $ ,&$ $ / / &) / 6 @ 0( &) / ) 7 / + / & 6 0( 9 $/& 0( ) $ / & , 6 ) $ , + ( & 0( / ( *( &) ) 0 & @ * )/ ) % / ) & ) / ( )(& & / * / 0( 3 / ( ) + / 4 & * & & + * / * 0( ) ( $ /

/ 4 & * &) ( + / ) 0 $/& 0( / $ & , 4 & * & $/)/ /

4 &

8 $ / & ) &

* 4 & * / * &/ ) /

) ( ( ( $ $ $ &&( *( / * ( ) /

) 0 )/ ) ) $/)/ / 4 &

& / 4 & * & / *

#

/ / 0( ( / ( & 6

& / && / & , ( & 3 / + $ / 0( & & / 6 &

0( ) / F G 6

/ +& & ( & &&$ ) & ( / &@ ) 0 4 & * & * )

5+ "@ + $ ,&$ ) 0 & @ 0( / $ & / ( 0( * ( & )/ & * &% * ) 0 )/ ) ) 4 & / / ) 0 )/ ) ) )

& 4 & * &7 + / ) 6 9 )

) *( C / ) *( $ / /

4 & * ) / ( & / 4 &

* &) & / & )

$ 6 $/)/ ) / +& & 6 ( &

8'

9

(:

(

5 / 5 * $ , / & )/ & 2 78 I +H ( ) C & # #9 * + & ) 82 & ( $ / ! 2 ( B) 7I + H + "==>9 & $ & / * )/ & 7 9

* && / ) ( / + &

$ & & / / 5

+ & ( ) & % / *

* $ / )/ + 4 &

)/ ) ) * ) / &* 4 & * & $ ) & (& / & + & ( ) && / +/ $ 4 & + && ) && & ) 7 / ) ( ) ( ) &0) &&

) ) && $ && * ) 9 & 7 /

) ( ) ( / * + / ) 09

* &( &$ & /

4 & & ( ) * 0 &

) + 5 0 *(& / L ( 7 H

D )/ "==;9 )& & ) * % &

((&) & ( ) & + +

) + * &+ & + ) *

) ) / )/ 8 7"==:9 *

&$ & ((&) ) & &

* , ), / ) !* +

/ ) 5 / $ , / M(

&) ) A &(* ! ) 7M A!9

+ / & + / 4 & & * 71 * H / "==# ?"==# 9 8'&' 9 ( 5 *(/ % / ) & & ) / ) 0 * / 4 & / / & * & / * 5

/ &( & ) ) 4 & * &

/ 0( ) ) 0 ( ) &

$ / # : 5 & & &

$ ) 7/ (@ $$$ ) + )/( B)

& * 9 $/)/$ *(&* / +/ & + ) &

) ( & + + ) ( /

& ) ** / $ ) / 2

& 3 , ( ), $& + && /

) 5 7 / F! 5 G ) 9

+ + 8 7"===9 / )/) & (

/) 0 4 & )/ ) ) *

5 * $ & )& )

0 * * && ) && ( (

/ 0 * & & /

) 0 / *7 9 / *

& / $ 4 *

/ * ( ) ) / / (

/ * / ( , /

/ ( / * && / ( ( &

* & , ))

( 0( ) N7 6 9

• & @ + ( &7 &9

• 0( @ & , +$ ,

• 0( @ 6 + $ ,

7 + $ )/ ) )9

A ) / ) 0 / $

• & @ &) && ((&) & )/ ) ) • 0( @ &) / )/ ) ) $ ,

&), / J *

/ & 4 & 7 9 $ /+/&+/ / (& )& ) ! B / 4 &

* & / N7 9 0 ) / & ! & 4 & * / * & B 6 &) * )( 4 & ( ) 0 4 & * )

5+ #@ 5 + ) $ / *(& ) 0

)/ ) ))/ ), $ 4 & $ /* )

/ ) 0 * & / $ 4 &

)/ ) ) / )/ )/ ) ) $ /

& 0 &4 & / *

& & / (( & & * )/ / ="#< )/ ) ) $/& / &$ & & *

( ) ) 5 )/

) / * ) / ) ** &

(

/ * + & ( ) 5 && *(&*

& * ) 7 5+ # / 0 ) 9 * (( + * / ( / ) ( $/)/ / 4 & )/ ) ) )/ ) ) * ) / & )/ / ) 0 5 ) / $ 5+ # J * &+ ( ) 7 ) & ( 9 *( 4 & * * J ) * + + 7 ) 0 * ( 9

3 / / & , &&/ ) 0 )/ ) ) * ( / ((& + ) 0 &&$ / &

4 & * ( $/)/ )

4 & * & !&/ +/ * / ) &(

$ + 6 0(& / & , * ( ( && $ , 8')' 9 (: * ( # ! *( + & / &(* 5 & / 0( / / * ) ( $ ) & * ) ) & / $ 5+ # ! ) 0( & &(* !&/ +/ * 5 $ *(&*

) & &(* &

& / $ D2@/ (@ $$$ ) + )/ * / * )/ + ) / # : / * ) ) * )/ ) * ) : $/)/ + $ ( + / & * / O 2 & / ) / * & ) 0 4 & )/ ) ) / ) * O 0 & ( + O 2

& / M ) ( &&$ / +

0( & / )/ / / / ) ( ) + / * )& + / ) & ( ) 0 4 & * & / * 0( ) & + / 6 & ) * / ) 0 / +/ / ) ( + / )/ & / & / * / ) 5+ # / / 4 & & / ( ) )) 0 (( /+/&+/ ( 7 +/ / * / ) 5+ #9 !

&) +4 & * ) / * &)

8 2 A5 D 5 * / , ) O 2

O 2 5 ( )

/ & , + * )/ * *(&* + /

* ) ) $ ( &

( &@ 0(& / * )/ * ) *( / & 4 & * ( / & , ( /

+ / * / 0 +5 ) / &

)/ / $ / 0( , $& +

! 0( ) $ && ( ( & , & 6 $/)/ $ && / ) *

) 6 & / * + * 0( +/ & 6 ) ) & / + + 6 4 5 * 0 : ! ( ) * & & / (@ ) ) ( )/ +

;'

/ ) (( )/ ) 0 &

( / / ( + )) / &

E ( & / & & & + + )/ &+ $ /

$ &/ 0( ) ( & $

* )& / / * )(& /

& & + + )/ &+ ) & & * )/

& * $ , * &

) 0 ( & / ( &

((&) * $ & / $ / & + +

4 & * ) / *( ) $/)/ (

/ ) 0 !((&) * /

)& & * & * $/)/

( ( & , & $ * ( ),

M 7# "9 &+ * 5 &+ *

$/& / !D!A * / &+ 73 &, "==P9

* )& / / ( ) 4 &

/ * )

D ) ** >;" 7 Q&& # 9 ), $& + / ) 0 &4 & * & $ / & 0 &4 & ( + ( , &+ *

/ + &( ( * $ ,$ / (

& (( & )/ + (( (

* ) + 4 & * & ( ) ) & & &&$ 0( ) && / / , $& + ) $ && ( $ * & + / / * ( &&

) & @ / ) 0 $/)/ / *

4 & )/ ) ) / $ 7 /

) * )9 / * (( + $ / $

3 & / $ && & ((& / * * & + )/ 4 / * ) *(&0 * )/

+ & 0 * + $/)/ && * + + )/ &+ $ /& & ( 0( ) )

& E I + $ 7# <9

) / & *

* $ , $/)/ $ && &&$ && , / & /

& 0 * + / / , $& + 0( )

6 $

/ )/ (( / $ 1 & ) ) 5 $ / / + # #" " ::">

*

!% * 7# "9 6 D @ / 1 0 / ="#< " ;=> & $ ) 6 & " #$$% %#& 2 I (( ::P: < / )/I 3 8 8 7"==:9 !((&) ** & ' &> (( #:= #;> ! 2 & 3 , + ( 7"==<9 ( ) * 2 + + " ( + , &+ ! 3 D # 8 8 7"===9 $ 5 & A & ) )/ & " & ( ) + ,& & 8 8 I + ( ) C & ! 7# #9 )(& 0 C )/ &

& & ' &"P7"9 (( " ::

7"==>9 -./- %0123415%223 44 44 " 44 " 15" & + % % 7"=== 9 -./- %01234%5%222 44 - ' & 44 " 44 " %5 . & + % % 7"=== 9 -./- %0123405%222 44 44 " 44 " 05" & + % % 7# "9 -./- 2%#64%5#$$% 44 44 " 44 " %5 & + % % I + + C 7"==>9 1 & 2 + + * & " ) %223 ( &" # (( ##; #: I + $ 1 7# <9 & + * ) * @ / / && + " ) #$$6 & ( M D )/ ! 7"==;9 ' ' & " D ( L 2 Q&& 7# 9 ! 1 $ D ) ** / & &(/ C ( , A &+

* " ) #$$0 2 + & &L (( "< P"<" 1 * 8 / 8 7"==# 9 / M A! D ( )/ & " ( '( + ,& ' 57 8 9 A + ! ! 1 * 8 / 8 7"==# 9 M A!R )/ & & -" : - * * ) , M( * ) + ) M( (( " P"" ( ), M I 7# "9 ! * ) & + + * ( ) +@ / , + & * ) &P7"9 (( #= < 3 ! ! !( & ! 7# :9 6 D @ / ) + $ ( ) 4 & " -( ' 9 #$$; &D ! ! !! 7"==<9 ' (( 8 ( + , &+ ( / + A * , 2D <# P 3 &, ! 2 * A M I ** ! ! && !

7"==P9 !D!A @ ! 5 * $ , & +

( , A &+ !+ " ( )/