Selection of Tuning Parameters

En la presente etapa de la investigación se utilizó la técnica de card sorting, que es un método para evaluar la fiabilidad y la validez de los constructos e ítems del cuestionario que se está preparando para la investigación mediante encuestas (Gary C Moore & Benbasat, 1991). Este método ayuda a evaluar la representatividad de las escalas múltiples y las definiciones conceptuales utilizadas para la medición de las variables de un estudio (Malhotra, 2012).

La técnica también ayuda a determinar la validez de fase y la validez de contenido del instrumento, que representan una evaluación subjetiva y sistemática para determinar si el instrumento mide lo que necesita ser medido, ayudando a eliminar errores resultantes de la utilización de medidas irrelevantes o insuficientes (Hair, Black, Babin, Anderson, & Tatham, 2009). Existe validez de fase cuando un elemento es obviamente más pertinente al significado del concepto medido que al significado de otro concepto medido por el instrumento. Es decir que, la validez de fase identifica si el instrumento de recolección de datos tiene una forma adecuada al propósito de medición (Hoppen, Lapointe, & Moreau, 1996). Existe validez de contenido si los datos de una medida posibilitan una prueba adecuada del comportamiento social medido por el concepto. Así, la validez de contenido incide sobre el grado con que una medida comprende los significados incluidos en el concepto y muestra si la medida representa el contenido que se quiere medir (Babbie, 2014). Con esta validación se pretendió garantizar que las instrucciones, escalas, formato y redacción de las preguntas sean relevantes, siendo claramente redactadas y no presentando ambigüedades (Hair et al., 2009), además de validar si el instrumento mide las variables propuestas (Hernández Sampieri et al., 2010).

La técnica de card sorting suele ser utilizada en el desarrollo de instrumentos para medir percepciones en relación a la TI (Gary C Moore & Benbasat, 1991) y debe aplicarse en la etapa de prueba del survey, después de la generación de los ítems a través de la revisión bibliográfica y antes de la administración de los ítems del cuestionario a través de la encuesta (Nahm, Rao, Solis-Galvan, & Ragu-Nathan, 2002).

Por ello, durante el mes de octubre de 2017, se realizaron dos rondas de card sorting utilizando la plataforma online Optimal Workshop®11. Dicho software permite enviar un link a los participantes que actuarán como jueces y sus respuestas son recolectadas automáticamente. En esta investigación

167

se optó por realizar un card sorting cerrado donde se define una estructura lógica utilizando términos pre-definidos (Faria, 2010). Mediante este procedimiento los jueces conforme a su entendimiento clasificaron los ítems del cuestionario en categorías, de las cuales se brindó su definición teórica. Las categorías e ítems fueron barajadas en orden aleatorio por el software para la presentación a los jueces y cada juez debía clasificar el total de los ítems en las distintas dimensiones propuestas. Asimismo, el software otorga la posibilidad de que los participantes realicen comentarios.

En función de las ubicaciones realizadas por los jueces, los ítems pueden ser examinados, reformulados y redactados apropiadamente o los ítems confusos pueden eliminarse (Nahm et al., 2002). Una forma de descartar ítems defectuosos es medir el nivel de acuerdo entre los jueces. En esta investigación se utilizó el índice de evaluación de proporción de aciertos de Moore & Benbasat (1991), denominado en inglés hit ratio. El método requiere el análisis de cuántos ítems fueron clasificados por el panel de jueces de cada ronda dentro de la dimensión propuesta. Cuanto mayor sea el porcentaje de elementos o ítems colocados en la dimensión objetivo, mayor será el grado de acuerdo entre los jueces del panel. Se puede considerar que, las escalas basadas en categorías que tienen un alto grado de clasificación correcta de elementos dentro de ellas, tienen un alto grado de validez para la dimensión y un alto potencial para buenos puntajes en los índices de confiabilidad. No obstante, este procedimiento es más un análisis cualitativo que un procedimiento cuantitativo riguroso. Por ello, no existen pautas establecidas para determinar buenos niveles de ubicación y la matriz elaborada se puede usar para resaltar cualquier dimensión potencialmente problemática (Nahm et al., 2002). En la presente investigación se fijó un criterio de un porcentaje de acuerdo global del 40%. Los resultados de este procedimiento pueden verse en la Sección 5.1.3.

La primera ronda de card sorting se realizó sobre el survey preliminar en portugués (Anexo V) e involucró la participación de 11 colegas de la Universidad Federal de Río Grande del Sur con experiencia en aplicación de cuestionarios: 2 doctores y 9 alumnos de maestría y doctorado. Cada participante completó el proceso, vía la plataforma, en aproximadamente 10 minutos. Los resultados se muestran en la Tabla 13. Con dicha información, el cuestionario sufrió modificaciones en su escritura y en la cantidad de ítems y sub-dimensiones. Los cambios fueron debatidos con dos investigadores y, posteriormente, el cuestionario fue revisado y criticado por una funcionaria de la justicia brasilera y un alumno de doctorado de la Universidad Federal de Río Grande del Sur, quienes actuaron como informantes clave (Yin, 2001). Como resultado de este proceso, las 2 sub-dimensiones de la dimensión calidad del servicio público (calidad del contenido del servicio y calidad de la prestación del servicio, respectivamente) y 12 ítems fueron eliminados, 20 ítems fueron reescritos, 1 ítem se ejemplificó y 1 ítem fue re-categorizado. Así, se arribó a otra versión del cuestionario con 30 ítems, 5 dimensiones (características de la tarea, características del individuo, ajuste de la tecnología

168

a la tarea, desempeño individual y calidad del servicio público) y 3 sub-dimensiones (características del individuo en relación a la tarea, características del individuo en relación a la tecnología y diferencias individuales), que se muestran gráficamente en la Figura 22.

Con este nuevo cuestionario (ver Anexo VI y VII) se realizó la segunda ronda de card sorting

que buscó que los participantes sean usuarios de TI en las organizaciones que están siendo estudiadas (Faria, 2010). Por ello, involucró la participación de 5 funcionarios de la justicia, brasilera (2 jueces) y argentina (3 jueces), quienes completaron el proceso en aproximadamente 12 minutos (ver resultados en Tabla 14). En esta ronda se utilizó un procedimiento similar al de la ronda anterior y, además, se agregó una categoría “ambigua” definida como “Ud. puede incluir aquí los ítems que cree que no se corresponden con ninguna otra categoría” para asegurar que los jueces no forzaran

cualquier ítem en una categoría particular (Nahm et al., 2002). Superado el criterio de un porcentaje de acuerdo global del 40%, se reescribieron 2 ítems y se arribó al cuestionario a aplicar en la prueba piloto tanto en español (Anexo VIII) como en portugués (Anexo IX), cuyas dimensiones e ítems se resumen en la Figura 23.

A esta versión del cuestionario se le agregaron cinco preguntas para recolectar información sobre el diseño del cuestionario. Específicamente con estas preguntas se buscaba detectar preguntas con redacción defectuosa, como preguntas: 1) cargadas que, a través de su redacción, pueden predisponer las respuestas; 2) ambiguas con dos o más interpretaciones; 3) con vocabulario inapropiado, que utilizan términos con los sujetos no están familiarizados; 4) con alternativas de respuestas faltantes, es decir preguntas de opción múltiple en las cuales algunas posibles respuestas no están incluidas entre las alternativas; 5) dobles, en las que al encuestado se le pide que brinde una respuesta única a dos preguntas (Hunt, Sparkman, & Wilcox, 1982).

Además, para la organización y la redacción del cuestionario se siguieron las recomendaciones de Hernández Sampieri et al. (2010, pp. 196–275). Para el orden de las preguntas del cuestionario Hernández Sampieri et al. (2010, p. 229) sugieren que, en casos donde los participantes puedan sentir que se comprometen si responden el cuestionario, es mejor hacer las preguntas demográficas o personales al final del cuestionario. Además, con las preguntas iniciales se buscó que el encuestado se concentre en el cuestionario y que las variables más relevantes no se encuentren al final.

Asimismo, según Hernández Sampieri et al. (2010, pp. 225–226) las preguntas tienen que: 1) ser claras, precisas y comprensibles para los sujetos encuestados, debiendo evitarse términos confusos, ambiguos y de doble sentido; 2) ser lo más breves posible, porque las preguntas largas suelen resultar tediosas, toman más tiempo y pueden distraer al encuestado; 3) formularse con un vocabulario simple, directo y familiar para los participantes; 4) no pueden incomodar al encuestado ni ser percibidas como amenazantes; 5) referirse preferentemente a un solo aspecto o una relación

169

lógica; 6) evitar ser tendenciosas, es decir el hecho de inducir las respuestas. Las características que debe tener cada pregunta del cuestionario son importantes porque el manejo del lenguaje puede ser una fuente de sesgos (Hernández Sampieri et al., 2010).

Esta cuestión de redacción de las preguntas sirve para enfrentar los problemas de sesgos de método común o common method biases,que pueden ser una de las principales fuentes de error al medir variables, poniendo en riesgo la validez de las conclusiones sobre las relaciones entre las dimensiones estudiadas y constituyendo así una importante amenaza de validez en la investigación (Podsakoff, MacKenzie, Lee, & Podsakoff, 2003). Una de las principales técnicas para controlar el sesgo de métodos es a través del planeamiento de los procedimientos del estudio. Por ello, en esta etapa siguiendo las recomendaciones de Podsakoff et al. (2003), se realizó un cuidadoso diseño del instrumento de recolección de datos para ser aplicado a un grupo de empleados y funcionarios de la justicia federal argentina y brasilera.

Como se desprende de la presente sección y de los Anexos VIII y IX, al diseñar el cuestionario se redactaron preguntas claras y concisas y los elementos de las escalas fueron mejorados consultando a expertos académicos de TI y empleados y funcionarios de la justicia argentina y brasilera. Estos procedimientos sirvieron para evitar términos ambiguos o desconocidos para los encuestados, evitar conceptos vagos y ofrecer ejemplos, mantener las preguntas simples y específicas, descomponer cuestiones relacionadas a más de una alternativa en preguntas más simples y focalizadas y evitar una redacción complicada. Además, al trabajar con dos versiones del cuestionario (en español y portugués) se garantizó que se haya conservado el significado de todos los elementos durante el proceso de traducción (Macedo, 2017) auxiliado por hablantes nativos de cada idioma.

Asimismo, a fin de minimizar el sesgo del método común al suministrar el cuestionario, en su introducción: se encontraban los nombres y los logotipos de las universidades involucradas en la presente investigación, seguidos de una breve presentación de la investigación y sus objetivos; se aseguró el anonimato de los encuestados (Macedo, 2017) y la confidencialidad de las respuestas; y se alentó a dar respuestas honestas al manifestarles a los encuestados que no existían respuestas correctas o incorrectas (H.-F. Lin, Su, & Higgins, 2016). Así, en la etapa siguiente se procedió a la recolección de datos mediante cuestionarios a través de una prueba piloto y su posterior aplicación final y, en ambos casos, a su análisis con un abordaje cuantitativo, procedimientos que serán explicados en la próxima sección.