Backward Stochastic Differential Equations

evaluación para los sistemas de recuperación en general. A continuación, se hará un resumen de los criterios utilizados en la evaluación de los SRI, la influencia de estos criterios en la elaboración de aquellos a utilizar para valorar las herramientas de descubrimiento de servicios web, y finalmente, se numerarán y justificarán los criterios establecidos para esta evaluación.

3.1CRITERIOS UTILIZADOS PARA LA EVALUACIÓN DE LA RECUPERACIÓN DE INFORMACIÓN

“La propia naturaleza de los SRI propicia su necesidad crítica de evaluación, justo como cualquier campo de trabajo que aspire a ser clasificado como campo científico” *BLA90+. De allí que muchos autores, desde la creación de los SRI, hayan enfocado sus esfuerzos en encontrar los criterios que permitan evaluarlos integralmente.

Baeza-Yates [BYF92] por ejemplo, manifiesta que los sistemas de recuperación de información pueden ser evaluados por diversos criterios como:

- Eficacia de ejecución: Es la medida del tiempo que tarda el sistema o a parte de este, para realizar una operación. La importancia de este parámetro radica en que un excesivo tiempo de recuperación, conduzca al desuso del sistema. Los requerimientos no funcionales de un SRI normalmente especifican el tiempo máximo aceptable para una búsqueda y para las operaciones de mantenimiento de una base documental, tales como añadir y borrar documentos [LOP06].

29 - Efectivo almacenamiento de los datos: Es el espacio necesario para el almacenamiento de los datos. Una forma común de medir en bytes la eficacia del almacenamiento, es la relación de la dimensión de los ficheros índice, más la del documento sobre la dimensión de los archivos del documento, denominado espacio general.

- Efectividad en la recuperación de la información: Generalmente esta medida se basa en la relevancia de los documentos recuperados, es decir en la satisfacción de la necesidad real de información del usuario.

Borlund [BOR00] por su parte, diferencia entre evaluar el acceso físico y el acceso lógico:

- Acceso físico es el que concierne a cómo la información es recuperada y representada de forma física al usuario, y está muy vinculado con las técnicas de recuperación y de presentación de la información.

- Acceso lógico a los datos que está relacionado con la localización de la información deseada. Tiene que ver con la relevancia del objeto localizado con una determinada petición de información

De forma parecida, Baeza-Yates [BYR99] afirma que existen dos tipos de evaluaciones: la del funcionamiento del sistema y la del funcionamiento de la recuperación, siendo la segunda modalidad la que analiza cómo los documentos recuperados se clasifican de acuerdo a su relevancia con la pregunta efectuada. Debido a la coincidencia de la necesidad de evaluar la relevancia como un criterio primordial en la evaluación de estos sistemas, se hace necesaria la definición de dicho término. Relevancia según el Diccionario de la Lengua Española, significa “cualidad o condición de relevante, importancia, significación”, por lo tanto un documento será relevante en tanto su contenido posea significación o importancia de acuerdo a la necesidad informativa. Sin embargo, se presentan algunos inconvenientes para determinar si un documento es relevante o no debido a que esta apreciación es subjetiva, la valoración será distinta dependiendo de quién la haga, el momento en que la haga o la necesidad específica que tenga, entre otros obstáculos.

Estos impedimentos obligan a distintos planteamientos; Saracevic [SAR97] por ejemplo, habla de dos tipos de relevancia, la objetiva que hace hincapié en los sistemas, y normalmente define cómo la materia de los elementos recuperados coincide con la de la petición; y la subjetiva que es la relevancia mirada desde el punto de vista del usuario. Por otra parte, [GRE00] aporta la idea de “utilidad de un documento” o pertinencia, considerando que es mejor definir a la relevancia en términos de la percepción que un usuario posee sobre la utilidad de un documento

30 recuperado, es decir, si el mismo le va a ser útil o no. Así pues, la relevancia queda asociada con el concepto de la relación existente entre los contenidos de un documento con una temática determinada y pertinencia se restringe a la relación de utilidad existente entre un documento recuperado y una necesidad de información individual.

Por todo lo anterior, es evidente que un campo importante a tener en cuenta en la evaluación de los SRI es la satisfacción del usuario, y por ende la medición de criterios que muestren el desempeño de las herramientas en este ámbito. Los criterios definidos a continuación pretenden describir las características principales que un SRI debe ofrecer al usuario [LOP06]:

- Exhaustividad ó habilidad del sistema para presentar todos los ítems relevantes. De manera estándar, representa la proporción de material relevante que es recuperado como respuesta a una petición de búsqueda. - Precisión ó la habilidad del sistema para recuperar sólo ítems relevantes. Como

medida, representa la proporción de material recuperado que es relevante. - Esfuerzo Intelectual ó físico, requerido por el usuario en la formulación de las

consultas, en el manejo de la búsqueda y en el escrutinio de los resultados. - Tiempo transcurrido entre que el sistema recibe la consulta por parte del

usuario y entrega los elementos recuperados.

- La presentación de los resultados de la búsqueda, que influye en habilidad del usuario para hacer uso de la información recuperada.

- El alcance o cobertura de la colección documental, ó la proporción de ítems relevantes conocidos por el usuario dentro del material recuperado.

Rijsbergen [RIJ99] opina que la proporción de material relevante recuperado como respuesta a una petición de búsqueda (exhaustividad ó recall), y la proporción de material recuperado que es realmente relevante (precisión), son los parámetros que verdaderamente pretenden medir la efectividad de los sistemas, siendo esta una medida de la capacidad del sistema para satisfacer al usuario en términos de la relevancia de los documentos recuperados. Finalmente, por regla general se consideran de mayor importancia las medidas basadas en la relevancia que aquellas basadas en el proceso, principalmente porque estas últimas sirven para diferenciar unos sistemas de otros con base en las prestaciones de la aplicación informática subyacente, pero no valoran adecuadamente los aspectos relacionados con el contenido de los documentos [MMR04].

3.2CRITERIOS UTILIZADOS PARA LA EVALUACIÓN DE LA RECUPERACIÓN DE