Giroux y Tremblay (2004, p.134) señalan algunos puntos que fueron muy valiosos para la prueba piloto de los instrumentos. Por ejemplo, indican que los especialistas, con frecuencia, “recomiendan utilizar preguntas abiertas en la versión preliminar del cuestionario utilizado en la prueba piloto. Esto permitirá obtener una gama de respuestas que servirán de base para determinar las modalidades que se propondrán en la versión oficial del cuestionario”. Tomando como base la cita anterior, se redactaron dos instrumentos con preguntas abiertas que
contaban con instrucciones precisas para contestarlos y que indicaban el objetivo de los mismos.
De las misma manera, Giroux y Tremblay (2004, p. 125) comentan que la prueba piloto tiene muchas ventajas y que en los casos particulares de una entrevista o un cuestionario, “permite identificar las preguntas ambiguas, las modalidades de respuesta inadecuadas… la falta de delicadeza en las preguntas”. Precisamente, ese tipo de inconsistencias fueron las que se buscaron en el momento en que se llevó a cabo la prueba piloto, las cuales detallaremos a continuación.
En primer término, había que asumir que el peso de la investigación recaía en la
interacción con los docentes por medio de una entrevista cualitativa enfocada. Es decir, la parte cuantitativa se utilizaba sólo para indagar ciertos datos que nos permitirían contestar una de las preguntas subordinadas del estudio. En cambio, la parte cualitativa, a la par de dar respuesta a otros tantos cuestionamientos subordinados, nos iba a dar la información necesaria para contestar la pregunta general de investigación. Por lo tanto, se debía buscar una serie de condiciones lo más cercanas posibles a la aplicación real de los instrumentos. Como señala Sierra (1998, p. 317): “la entrevista es ante todo una puesta en escena que simula la naturalidad del diálogo”.
Sin embargo, el principal reto que se enfrentó fue que el diseño de la investigación presuponía que los docentes del grupo experimental interactuarían, en primera instancia con un Objeto de Aprendizaje producido según las necesidades de capacitación de la institución, para después, tomar un taller presencial sobre esa temática. Debido al calendario que se tuvo durante el desarrollo de la investigación, el replicar dicha situación durante el piloteo era imposible. En el momento del piloteo no se estaban impartiendo cursos de capacitación y faltaban tres meses para que esos procesos se generaran. Además, todavía no se tenía al 100% la determinación de los contenidos que se manejarían en la capacitación intersemestral.
Debido a todo lo anterior, se determinó que debían darse dos condiciones para que la prueba piloto fuera lo más cercana a la situación real de aplicación: en primer lugar, quien contestará el cuestionario piloto debería de interactuar con un Objeto de Aprendizaje producido en la misma institución y, en segundo lugar, debería ser un maestro universitario que generará dicha interacción en condiciones “reales”. Es decir, se le daría la liga de acceso al OA y el docente determinaría en qué momento entraría al portal para navegar por el Objeto de Aprendizaje. Además, se tuvo el cuidado de que el sujeto que apoyó en el piloteo tuviera un conocimiento previo sobre la temática particular que manejaba ese recurso digital.
Fue así como se le pidió a un catedrático, que impartía asignaturas relacionadas con la hipermedia, que entrara al portal de la institución y que navegará por un OA, cuya temática versaba en torno a los diez paradigmas de la comunicación en Internet, el cual había sido producido por el investigador y su equipo de trabajo en la Dirección de Comunicación, Difusión y Promoción. La dirección o URL en la cual se puede ubicar dicho Objeto de Aprendizaje es: http://comunicacion.lasallecancun.edu.mx/
Después de darse dicha interacción, se le pidió que contestara una serie de preguntas abiertas (Anexo 2) que trataban de indagar su opinión sobre su experiencia con el OA y, sobre todo, intentaban encontrar alguna inconsistencia en los planteamientos. Algunas de las
recordar que la situación real de aplicación sería una entrevista cualitativa, cara a cara, donde el investigador podría profundizar o aclarar ciertas preguntas. Sin embargo, la idea del piloteo fue plantear las interrogantes en papel y analizar si habían preguntas mal planteadas y que
requerían mayor precisión. Los resultados fueron los siguientes:
1. Cuando se preguntaba si el OA daba la posibilidad de “pedir ayuda” durante la interacción, el docente contestó que no la necesitó. Por ende, el hecho de que este usuario en
particular no haya requerido la ayuda (y por lo tanto, no la haya solicitado), no significa que otro internauta menos experimentado la requiera y pueda definir si el Objeto de
Aprendizaje le puede proveer del apoyo necesario.
2. La pregunta que indagaba si el usuario había podido utilizar elementos del recurso digital para construir otros elementos no fue contestada, por lo que se supuso que el
planteamiento debería ser más específico en cuanto a lo que se entendía por “construir otros elementos”.
3. Todos los otros cuestionamientos fueron contestados sin mayor problema por el docente, pues el sentido de las preguntas no tuvieron ninguna mala interpretación.
Por otro lado, se aplicó otro cuestionario con preguntas abiertas (Anexo 3) a un maestro- profesionista que, a la par de dar clase en la Licenciatura en Ciencias de la Comunicación, tiene una consultoría educativa. Siguiendo la misma mecánica que con el docente que interactúo con el OA, en este caso se le pidió al maestro que contestará un cuestionario sin la intervención del investigador para aclarar cualquier duda. Como se señalaba, la intención era encontrar
cualquier inconsistencia en la redacción o claridad de las preguntas. Además, cabe señalar que este piloteo fue muy importante, dado que la persona que apoyó en este proceso tiene un conocimiento amplio de metodología de la investigación y, también, sobre la temática del cuestionario. Esta situación permitió verificar, fehacientemente, si se estaban tomando las
decisiones correctas en el diseño del instrumento. Los comentarios vertidos por este catedrático fueron:
1. En general, se pudo apreciar que todas las preguntas fueron claras y concisas, pues todas las respuestas del docente abordaron la temática sin rodeos y contestando dentro de las dimensiones que la investigación pretendía.
2. En una de las respuestas surgió una interesante vertiente que no había sido considerada del todo. Cuando se preguntó si era fundamental el tener un conocimiento previo en manejo de las NTIC para lograr buenos resultados en la interacción con un recurso digital, la respuesta fue afirmativa. Sin embargo, también se agregaron otros elementos que sería muy importante considerar: la organización y uso del tiempo libre, las técnicas para el estudio independiente, así como la búsqueda y organización de la información.
3. Asimismo, nos pudimos percatar que el docente que contestó el cuestionario de piloteo al hablar, dentro de la modalidad de blended-learning, de la vertiente de educación a distancia, presuponía que habría un tutor interactuando con los maestros en capacitación que entrarán al OA. Al no estar considerado este punto dentro del diseño de la
investigación, se determinó que sería pertinente el aclararlo en el momento de la aplicación real del instrumento.
4. Por último, sobre la base de sus respuestas, nos percatamos de la necesidad de indagar un poco más sobre las razones que llevarían a una persona a considerar que su
interacción con el OA habría facilitado (o no) la profundización en los contenidos y también se agregó otro pregunta que contrastara el impacto del tiempo destinado para la
capacitación con los resultados obtenidos en el producto concreto del taller (el plan de trabajo).
Sobre la base de esos resultados, y posterior a que los docentes contestaran sus respectivos cuestionarios, se les preguntó sobre el contenido del instrumento para conocer si,
en su opinión, alguna pregunta podía ser mejorada. Este proceso es importante ya que las sugerencias permiten “mejorar tanto el desarrollo de la investigación como la eficacia del instrumento de medición, a fin de que las medidas registradas durante la recolección real de datos sean lo más válidas y precisas posibles” (Giroux y Tremblay, 2004, p. 124).
Los comentarios del maestro universitario que interactuó con el OA rectificaron que la pregunta que hacía referencia a la construcción de otros elementos con los mismos recursos del Objeto de Aprendizaje no era clara y, por ende, ese aspecto fue modificado en el
cuestionario que sirvió como base para las entrevistas cualitativas que se llevaron a cabo posteriormente. Asimismo, los señalamientos del docente que contestó el otro cuestionario reafirmaron la importancia de tomar en cuenta ciertos aspectos como: las razones que llevan a una persona a opinar que un OA permite (o no) profundizar en la asimilación del contenido, como afecta el tiempo disponible para la capacitación en el resultado concreto, la organización y uso del tiempo libre, las técnicas para el estudio independiente, así como la búsqueda y
organización de la información. Habría que recalcar que este piloteo también sirvió para reconsiderar el orden de los reactivos, como se puede apreciar en el cuestionario semiestructurado que sirvió como base para las entrevistas cualitativas (Anexo 4).
En lo que cabe al instrumento cuantitativo, podemos decir que el instrumento (Anexo 5) no sufrió mayor modificación, más que dar referencias específicas sobre la Universidad La Salle Cancún. Por lo tanto, en ambos casos se rectificó que el contenido de los cuestionarios era claro y, al explicarles con más detalle el objetivo que se buscaba con cada uno de los instrumentos, se comentó que cubrían plenamente con su cometido.
Por último, es pertinente recalcar el porqué se piloteo cada cuestionario con un solo docente. En el caso del instrumento cualitativo se consideró que la aplicación real, al basarse en un muestreo intencional, se haría de por sí con pocos sujetos (ocho en total, dentro del grupo experimental). Además, toda entrevista cualitativa presupone bastante tiempo de aplicación y en esos momentos del desarrollo de la investigación, no se contaba con un
calendario holgado. En lo que se refiere al instrumento cuantitativo, se llegó a una conclusión similar. El universo en el que se aplicaría la encuesta era de sólo tres personas, por lo que pilotear el cuestionario con una persona experta en el tema se consideró suficiente.