FOR THE BUSINESS YEAR 2013 I ACCOUNTING PRINCIPLES
IFRIC 21 Recognition of a liability for a levy imposed by
tricci´on de tiempo. Concretamente, hemos propuesto nuevas medidas de evaluaci´on que
combinan la precisi´on y el tiempo de respues- ta de los sistemas. Para evaluar el tiempo de respuesta de los sistemas, hemos llevado a ca- bo un experimento en el CLEF-2006 aportan- do un nuevo escenario para comparar siste- mas de BR. Observando los resultados obte- nidos por los sistemas, podemos argumentar que este es un prometedor paso para cambiar la direcci´on en la evaluaci´on de los sistemas de BR.
3. Nuevas aproximaciones sobre la evaluaci´on de los sistemas de BR
El problema mencionado anteriormente puede ser reformulado de forma matem´atica. Consideramos que la respuesta de cada sis- tema Si puede ser caracterizada en este pro-
blema como un conjunto de pares de n´umeros reales ordenados (xi, ti). El primer elemento
de cada par representa la precisi´on del siste- ma y el segundo la eficiencia. De este modo, la tarea de BR puede ser representada geom´etri- camente como un conjunto de puntos locali- zados en un subconjunto D ⊆ R2. Nuestro problema puede ser solventado aportando un m´etodo que permita ordenar los sistemas Si de acuerdo a un criterio prefijado que valo- re tanto la precisi´on como la eficiencia. Este problema es de la misma naturaleza que otros problemas tratados en la Teor´ıa de Decisi´on. Una soluci´on a este problema puede ser obtenido introduciendo un preorden total, a veces referido como quasiorden, en D. Una relaci´on binaria en un conjunto D es un preorden total si es reflexivo, transitivo y si dos elementos (cualesquiera) de D son com- parables entre si. En concreto, podemos defi- nir un quasiorden en D con la ayuda de una funci´on con dos variables de tipo real f : D ⊆ R2 → I ⊆ R, de modo que: (a, b) (c, d) ⇔
f(a, b) ≤ f(c, b), ∀ (a, b), (c, d) ∈ D.
Nos referiremos a esta funci´on como fun- ci´on de clasificaci´on. Una de las ventajas de este procedimiento es que la funci´on de clasi- ficaci´on contiene toda la informaci´on relativa al criterio elegido para clasificar los distintos sistemas Si.
Matem´aticamente, todos los elementos que est´an situados en la misma posici´on en la clasificaci´on pertenecen a una misma cur- va de nivel en la funci´on de clasificaci´on. Es- pec´ıficamente, las curvas de iso-ranking est´an caracterizadas por todos los elementos de D que completan la ecuaci´on f(x, t) = L, siendo
Evaluación de Sistemas de Búsqueda de Respuestas con restricción de tiempo
L un n´umero real en la inversa de f, I.
El procedimiento de clasificaci´on propues- ta para evaluar los sistemas en la tarea de BR es de tipo ordinal. Esto significa que no se debe hacer una conclusi´on sobre la diferen- cia num´erica absoluta sobre la diferencia de los valores num´ericos para dos sistemas en la funci´on de clasificaci´on. La ´unica informaci´on relevante es la posici´on relativa en la clasifica- ci´on de los sistemas en la tarea de evaluaci´on de BR. De hecho, si consideramos una nue- va funci´on de clasificaci´on construida compo- niendo la funci´on de clasificaci´on inicial con un estricto incremento de la funci´on, el valor num´erico asignado a cada sistema cambiar´a, pero la clasificaci´on obtenida ser´a la misma que inicialmente.
En la aproximaci´on desarrollada en este art´ıculo, la precisi´on xi del sistema Si es cal- culada con la medida de evaluaci´on Mean Re-
ciprocal Rank (M RR), de modo que xi ∈
[0, 1]. La eficiencia se mide considerando el tiempo de respuesta de cada sistema, de mo- do que, tener un tiempo de respuesta peque˜no significa tener una buena eficiencia.
Para definir una funci´on de clasificaci´on realista, es necesario establecer algunos re- quirimientos adicionales. Estas propiedades est´an basadas en el comportamiento intuiti- vo que debe cumplir la funci´on. Por ejemplo, como aproximaci´on inicial, vamos a estable- cer las siguientes condiciones:
1. La funci´on f debe ser continua en D. 2. El l´ımite superior de I se obtiene con
l´ım
t→0f(1, t). En el caso que I no tenga
l´ımite superior, tendremos l´ım
t→0f (1, t) =
+∞.
3. El l´ımite inferior de I se obtiene con
f (0, 1).
La primera condici´on se ha impuesto por conveniencia matem´atica, aunque se podr´ıa interpretar en t´erminos de simplificaci´on de argumentos. Cabe destacar que este requeri- miento excluye la posibilidad que, si supone- mos que dos sistemas est´an en distintas po- siciones en la clasificaci´on, una peque˜na va- riaci´on en la precisi´on o la eficiencia, pueda alterar los valores de la clasificaci´on. La se- gunda condici´on est´a relacionada con el hecho que, si suponemos un sistema definido por el par (1, 0) siempre deber´ıa estar en la prime- ra posici´on en la clasificaci´on. Finalmente, la
´
ultima condici´on implica que el par (1, 0) de- ber´ıa estar en la ´ultima posici´on.
3.1. Funci´on de clasificaci´on independiente del tiempo (MRR2)
Como primer ejemplo de funci´on de cla- sificaci´on, consideramos M RR2(x, t) = x. El
preorden inducido por esta funci´on es seme- jante al orden lexicogr´afico, a veces llamado orden alfab´etico. Para esta funci´on de clasifi- caci´on tenemos que:
1. La funci´on inversa de M RR2 est´a en el
intervalo [0, 1].
2. La funci´on M RR2 es continua en D.
3. l´ım
t→0M RR2(1, t) = 1.
4. M RR2(0, 1) = 0.
De modo que, la funci´on cumple las condi- ciones establecidas previamente. Por otro la- do, las curvas de iso-ranking de la funci´on son de la forma x = L, L ∈ [0, 1] cuya represen- taci´on es una familia de segmentos verticales con una unidad de longitud (ve´ase la figu- ra 1). El preorden construido por esta fun- ci´on de clasificaci´on s´olo valora la precisi´on de los sistemas.
3.2. Funci´on de clasificaci´on con dependencia temporal inversa (MRRT )
Como el primer ejemplo de funci´on de clasificaci´on no valora la eficiencia de los sistemas, vamos a considerar la funci´on
M RRT (x, t). Suponemos que en este caso la
funci´on de clasificaci´on es inversamente pro- porcional a la eficiencia (tiempo de respues- ta) y directamente proporcional a la preci- si´on. En particular, esta funci´on verifica las siguientes propiedades:
1. La funci´on inversa de M RRT est´a en el intervalo [0, +∞).
2. La funci´on M RRT es continua en D. 3. l´ım
t→0M RRT (1, t) = +∞.
4. M RRT (0, 1) = 0.
Las curvas de iso-ranking asociadas a la funci´on son de la forma x = L, L ∈ [0, 1]. Geom´etricamente, estas curvas son una fa- milia de segmentos que pasan por el punto
(0, 0) y con una pendiente de 1/L (ve´ase la figura 2). De este modo, los sistemas con me- jor eficiencia, es decir, un tiempo de respues- ta peque˜no, obtendr´an un mejor valor de x y una posici´on alta en la clasificaci´on. As´ı mis- mo, aunque la funci´on de clasificaci´on es de naturaleza ordinal, es deseable que la funci´on inversa este acotada entre 0 y 1, ya que esto facilita su intuitiva representaci´on, condici´on que no se cumple por esta funci´on.
3.3. Funci´on de clasificaci´on exponencial inversa con dependencia del tiempo MRRTe
Debido a las desventajas presentadas en las funciones anteriores, hemos propuesto una nueva funci´on que tambi´en depende de la pre- cisi´on y de la eficiencia del sistema, aunque la eficiencia tiene un menor peso que la pre- cisi´on en esta funci´on. A continuaci´on, vamos a introducirla:
M RRTe(x, t) = 2x
1 + et, (3)
siendo etla funci´on exponencial de la eficien- cia. Esta funci´on cumple las siguientes condi- ciones:
1. La inversa de M RRTe est´a en el inter-
valo [0, 1).
2. La funci´on M RRTe es continua en D. 3. l´ım
t→0M RRTe(1, t) = 1.
4. M RRTe(0, 1) = 0.
Las curvas de iso-ranking son de la forma 2x/(1 + et) = L, L ∈ [0, 1), estando represen- tadas en la figura 3. Si suponemos un sistema ideal, es decir, que responde instant´aneamen- te (t = 0), entonces el valor de esta funci´on coincidir´ıa con el valor de la funci´on de pre- cisi´on. En cambio, la dependencia funcional del tiempo modula el valor de la funci´on, de modo que, cuando el tiempo incrementa, la funci´on decrece. De cualquier forma, esta de- pendencia es m´as suave que en la funci´on an- terior. Adem´as, si consideramos un sistema
S, ´unicamente obtendremos la misma clasifi-
caci´on que ´el si consideramos sistemas cuya precisi´on y eficiencia varian en un rango par- ticular, no s´olo para un valor peque˜no de la precisi´on.