C. U.S INTELLIGENCE COLLECTION OPERATIONS:
VIII. CONCLUSION
- Recogida diaria. Es la más fiable.
- Muestreo. Aunque los datos estadísticos tradicionales de las bibliotecas se toman durante todo el período de recogida de datos, esto no es posible en to- dos los servicios de la biblioteca como, por ejemplo, el uso interno o preguntas de referencia. Por lo tanto se permite la aplicación de métodos de muestreo allí donde no se pueden recoger datos de los sistemas automatizados o donde la recogida de datos llevaría mucho tiempo. Para el cálculo del tamaño de la muestra se deberían consultar los manuales de procedimientos estadísticos. (ISO 2789:2003)
El formulario que se emplea recoge, a través de marcas manuales (una por consulta), el número de demandas que se reciben, sepa- rando las resueltas de las no resueltas. En otra sección se anotan las búsquedas bibliográficas, ya sea en el catálogo de la biblioteca o en otros catálogos, marcando también si han sido resueltas o no dichas peticiones de información. En resumen, los datos que se recomienda anotar en el sistema de control de consultas propuesto por el grupo de trabajo de estadísticas de bibliotecas públicas son los siguientes:
· Demandas de información Resueltas No resueltas · Búsquedas bibliográficas - Catálogo Resueltas No resueltas - Otros catálogos Resueltas No resueltas
Existen diversas técnicas que se pueden utilizar para evaluar una biblioteca. En realidad, los diferentes métodos de investigación so- cial son aplicables al análisis de la actividad bibliotecaria y del com- portamiento de sus usuarios. Por lo que se refiere a la evaluación de los servicios bibliotecarios de referencia, en general, y del servicio de referencia digital, en particular, las técnicas pueden ser las mis- mas empleadas en Sociología y en otras disciplinas de las Ciencias Sociales; incluso, algunos de los sistemas empleados siguen criterios muy estrictos basados en métodos de organización empresarial.
No obstante, se ha considerado que se necesitan métodos comple- mentarios y específicos para algunos servicios de referencia digital, especialmente para aquellos cuya población usuaria no está defini- da, como ocurre con los servicios públicos nacionales e internacio- nales, que se ofrecen de manera abierta, sin establecerse un colec-
tivo vinculado a una biblioteca o a una red bibliotecaria concretas, algo que dificulta los posibles estudios de usuarios. Por este motivo, se ofrecerán en el apartado 10.3. algunas propuestas para la evalua- ción de servicios públicos de referencia digital.
Por lo que respeta a los métodos que se están empleando para evaluar los servicios de referencia, y sin intención de detenerse de- talladamente en los mismos, se enumeran en los siguientes párrafos las diferentes técnicas que se mencionan en la literatura profesional y que se han empleado en evaluaciones de bibliotecas, como se po- drá comprobar en las referencias que se recogen en las diferentes bibliografías que se ofrecen al final de la obra.
En la actualidad, ya se dispone de una base bibliográfica a la que acudir para conocer las técnicas de investigación cuantitativas y
cualitativas que se pueden aplicar en las bibliotecas118, aunque aquí
se hace un resumen sucinto en función de su utilidad en la evalua- ción de servicios de referencia digital. Los métodos más frecuentes en evaluación cuantitativa y cualitativa son los siguientes:
· Entrevistas. Conjunto de preguntas que se realizan a los usua- rios para conocer su opinión sobre determinadas cuestiones. En el caso de los servicios de referencia las encuestas suelen incidir en la satisfacción con la respuesta recibida, su conformidad con el trato recibido o el grado de cumplimiento de sus expectativas, por ejemplo. Se trata de una técnica muy desarrollada y empleada en un porcentaje muy alto de las evaluaciones realizadas en biblio- tecas. Este método se ha empleado también para el análisis de los
118 Algunos ejemplos recientes de monografías sobre técnicas de investigación en biblio- teconomía son: Pickard, Alison Jane. Research methods in information. London: Facet, 2007; Powell, Ronald R.; Connaway, Lynn Silipigni. Basic research methods for librarians. 4th ed. Wes- tport (Connecticut); London: Libraries Unlimited, 2004; y Delgado López-Cózar, Emilio. La investigación en biblioteconomía y documentación. Gijón: Trea, 2002. En cuanto a técnicas espe- cíficas para la evaluación cualitativa son recomendables: Matus Sepúlveda, Gladys; Molina Luque, Fidel. Metodología cualitativa: un aporte de la Sociología para investigar en Bibliotecología. Valparaíso: Universidad de Playa Ancha, 2006; y Valentim, Marta Ligia Pomim. Métodos cua- litativos de pesquisa em Ciencia da informaçao. Sao Paulo: Polis, 2005.
servicios de referencia digital, aunque no se puede aplicar apenas en los servicios públicos nacionales, ya que no se tiene informa- ción de los usuarios.
· Cuestionarios electrónicos. Método afín a las encuestas, pero con orientación plenamente evaluadora. El usuario responde a cuestiones cerradas sobre los servicios que acaba de recibir. Muchos servicios de referencia digital lo emplean, empleando ventanas emergentes en muchos casos, que contienen formularios en los que el usuario sólo tiene que elegir la opción de su respuesta y enviar los resultados. Es, como se vio unos párrafos antes, el método emplea- do por importantes servicios para recoger la satisfacción del usua- rio, como es el caso de Question Point o el ejemplo que se muestra en la figura 21.
· Observación no participante. Se trata de estudiar los hábitos de los usuarios: cuándo preguntan más, cómo utilizan la colección, cuánto tardan en encontrar un dato, etc. La observación ofrece pau- tas para conocer el comportamiento de los usuarios del servicio y, por tanto, para reenfocar aquellos procedimientos que no sean efec-
tivos. Esta técnica sólo servirá a efectos orientativos, ya que aporta pocos datos tangibles, además de requerir mucho tiempo y perso- nal. No obstante, ofrece importante pautas de comportamiento acer- ca de los usuarios y su relación con la información: cómo, cuándo, dónde y qué buscan.
· Observación participante. Consisten en el uso de los servicios por parte del personal evaluador de forma anónima, sin que los profesionales sepan que están siendo evaluados. Los evaluadores pertenecen también a la biblioteca. En el caso de la referencia, el evaluador realiza diferentes consultas de forma intencionada, para analizar determinados factores de las respuestas, como la pertinen- cia o el tiempo transcurrido. Se trata de un método que hay que aplicar con precaución y que requiere una detallada planificación. En algunas obras sobre evaluación este método se denomina estu- dio discreto, que es una traducción de unobtrusive study.
· Análisis de los registros del sistema (logs) o de las transcrip-
ciones de las sesiones. Todos los sistemas automatizados registran
internamente las operaciones que ejecutan. Es importante, a la hora de elegir o desarrollar un sistema automatizado de gestión de la re- ferencia, que se conozcan las capacidades del mismo para registrar información, ya que de ello dependerá que se puedan extraer datos para la evaluación del servicio, tales como el número de preguntas, los tipos, las horas y días de consulta, etc. En el apartado 10.2 de esta obra se menciona con frecuencia el uso de los registros del sistema como medio para la obtención de datos para indicadores de rendi- miento de los servicios de referencia digital. Se trata de un procedi- miento esencial en los servicios de referencia digitales.
· Grupos de discusión (focus groups). Se trata de reunir a un gru-
po de personas para que debatan aspectos de la calidad del servi- cio, ya sea sobre el personal, la gestión, el sistema automatizado, las respuestas ofrecidas, etc. Los integrantes de estos grupos variarán en función de qué se quiera evaluar. En algunos caso, conviene que sean personas que trabajen en la biblioteca, a fin de evaluar cuestio- nes como la organización o la comunicación interna; en otros casos,
los grupos estarán formados por usuarios, que opinarán sobre las expectativas cumplidas, la satisfacción o la accesibilidad del servi- cio, por ejemplo. También se deberán formar grupos de ciudadanos poco o nada relacionados con la biblioteca, para debatir sobre el conocimiento del servicio o los ámbitos que cubre, por ejemplo. Son también una herramienta importante para la evaluación cualitativa de un servicio de referencia
· Estudio de casos. Recopilación y examen de prácticas ejemplares de servicios similares a los que se están ofreciendo. Los evaluado- res recogen testimonios, documentación y datos de otras bibliotecas y servicios de orientación afín, que hayan demostrado un buen fun- cionamiento, y analizan los elementos que de su éxito, para trasla- darlos a los servicios propios. Las historias de éxitos, buenas prácti- cas o cualquier terminología similar que se quiera emplear son una buena opción para iniciar servicios de información en una bibliote- ca, tomando como ejemplo experiencias destacables, basándose en el principio de que, en condiciones similares, un servicio con éxito en una biblioteca, también lo tendrá en otra parecida.
En ocasiones las bibliotecas optan por encargar la evaluación a personas o entidades externas, facilitando los recursos, pero no par- ticipando directamente en la recogida de datos ni en parte alguna del proceso de análisis. Las dos principales formas de materializar la evaluación independiente son la revisión por pares y los análisis externos, que se explican someramente en los párrafos siguientes.
· Revisión por pares (peer review). Técnica relacionada con los
grupos de discusión. Se trata de seleccionar personas, ya sean pro- fesionales de la biblioteca, usuarios o colaborares externos, que rea- lizarán las labores de análisis de aquellos elementos que se deseen evaluar: calidad de las respuestas, trato de los profesionales, fuentes empleadas, capacidad del sistema, etc. Ha demostrado ser un exce- lente método de evaluación aplicable a los servicios de referencia, tanto presenciales como telemáticos Se deben normalizar algunas cuestiones de procedimiento y criterios de actuación ya que se tra- bajará de forma independiente, antes de la puesta en común defi-
nitiva, de la que se extraerán los resultados de la evaluación que se esté llevando a cabo.
· Análisis externos, encargados a personas o empresas especiali- zados, es un método que tiene que tener en cuenta las bibliotecas para evaluar determinadas cuestiones. Por ejemplo, este sistema será muy útil para evaluar las especificaciones técnicas de una apli- cación que se quiera emplear o esté usando para la referencia digi- tal. De igual modo, el trabajo con consultores puede ser empleado para el análisis de la calidad de las respuestas.
Muchos de los criterios, indicadores y métodos expuestos en este apartado son de aplicación tanto en lo servicios de referencia tradi- cionales como en los digitales. No obstante, estos últimos servicios requieren, en muchos casos, una metodología particular, así como el empleo de indicadores específicos, incluso diferenciados en fun- ción del sistema o medio que se utilice para prestar los servicios de referencia sincrónicos y asincrónicos. Todos estos aspectos son examinados en el capítulo 10 de la obra, una vez analizados los di- ferentes elementos relativos a los servicios de referencia digital, que se describen en las páginas siguientes.
Los servicios de referencia digital son una realidad reciente. Las primeras iniciativas de servicios de consulta ofrecidos por las bi- bliotecas a través de redes de telecomunicación tienen poco más veinte años. Desde entonces, la referencia digital se ha asentado, aunque todavía dista mucho de ser un servicio extendido y con- solidado. En este capítulo, se desarrollarán los diferentes aspectos relativos a los servicios de referencia digital, analizando la litera- tura profesional, presentando el estado de la cuestión y aportando una definición de qué se debe entender en sentido estricto por un servicio bibliotecario de referencia digital. En el segundo aparta- do se realizará una extensa clasificación de las diferentes mani- festaciones que es posible encontrarse dentro de las secciones de consulta en línea de las bibliotecas; se trata de una sistematización de los servicios de referencia digital en función de criterios y pers- pectivas diferentes. El capítulo finaliza con la descripción deta- llada de los sistemas que se emplean para la referencia digital. Se ofrece un análisis de los métodos que utilizan las bibliotecas para