Analysis of some important Lean practices

Para determinar que publicaciones darán respaldo a la investigación se acude al método de revisión sistemática de la literatura (SLR – Systematic Literature Review). La aplicación del método permite encontrar documentación de interés científico en la temática abordada y logra evaluar aspectos de relevancia que se relacionan al tema propuesto.

3.1.1 Antecedentes

Las SLR son habitualmente utilizadas en el área de las TI, específicamente en la ingeniería del software (Kitchenham, 2004 y Kitchenham, Dyba y Jorgensen, 2004). Estas revisiones se utilizan como una aproximación sistemática y estructurada para realizar búsquedas de literatura científica (Kitchenham, 2007). Esta metodología ha sido supervisada y evaluada por distintos autores (Kitchenham Mendes y Travassos, 2007; Staples y Niazi, 2007; Brereton, Kitchenham, Budgen, Turner y Khalil, 2007). Siguiendo el método SLR, se puede apreciar y explorar un conjunto de trabajos completo de investigaciones científicas previas.

3.1.2 Revisión sistemática de la literatura

Se considera una revisión sistemática a la selección de documentos cuyo origen son bases de datos reconocidas en el ámbito científico, como por ejemplo Scopus y Web of Science (WoS) entre otras. Los documentos seleccionados que contribuyen a la SLR se denominan estudios primarios (Kitchenham, 2004). Una SLR está estructurada en distintas fases, cada una con diferentes actividades. Como se detalla en el siguiente apartado, en esta fase del trabajo de investigación se ha tomado como base el grupo de actividades de la SLR propuesto por Kitchenham (2004), que es el más usado en la ingeniería del software y en temas relacionados con las TI (Chai, Liu y Ngai, 2013). Según afirman Sánchez-Meca (2010) y Brettle (2003), las revisiones sistemáticas son un tipo de investigación científica, que tiene como propósito integrar de forma objetiva y sistemática, los resultados de los estudios empíricos sobre un determinado problema de investigación. El objetivo es determinar el estado de la cuestión en ese campo de estudio. En su trabajo Ferreras (2016) afirma que una SLR debe cumplir con tres condiciones:

1. Utilizar bases de datos académicas como fuente principal.

2. Indicar criterios de inclusión y exclusión de selección de publicaciones. 3. Proporcionar datos para replicar el estudio de revisión.

Complementariamente a la búsqueda en las bases de datos científicas (como por ejemplo WoS o Scopus), en esta investigación vamos a considerar también Google Académico. Google Académico no es una base de datos científica, su esencia está en la búsqueda de información en sitios web de toda índole, y si se utiliza adecuadamente se pueden hallar artículos científicos compartidos por otros repositorios o investigadores, cuyo acceso es restringido en las bases de datos científicas (Ferreras, 2016).

Luego de realizada la búsqueda tanto en bases de datos científicas como en repositorios no convencionales, se podrán excluir estudios considerados irrelevantes (Phelps y Campbell, 2012).

3.1.3 Proceso de la SLR

Kitchenham et al. (2007) indican que el proceso SLR (figura 3.1) debe nacer de una idea yes similar a otros presentados en Sorrell (2007) y Tranfield, Denyer y Smart (2003). Según

45

afirman Velasquez y Acuña (2014), el diseño del protocolo de investigación corresponde a la creación de un documento, en donde se describen la justificación de la revisión, las preguntas de investigación, su motivación y el proceso de ejecución. El diseño es construido y revisado antes de su ejecución (Kitchenham, 2004; Sorrell, 2007; Bolderston, 2008). La síntesis de datos e información es el proceso de responder a la pregunta de investigación propuesta. El proceso es no lineal y normalmente se retorna a pasos anteriores conforme el entendimiento del problema de investigación está aumentando (Bolderston, 2008). En la revisión realizada por Carver, Hassler, Hernandes y Kraft (2013), se evidenció que los aspectos más difíciles de la aplicación del método SLR son la selección de los estudios, la extracción de datos y la evaluación de la calidad.

Figura 3.1. Proceso de revisión sistemática de la literatura

Elaborada a partir de (Kitchenham et al., 2007; Genero, M., Cruz-Lemus, J. A. y Piattini, M., 2014).

En el trabajo realizado por Velásquez y Acuña (2014), se sugiere que los resultados pueden ser reportados en congresos, páginas web, artículos en revistas indexadas, capítulos de tesis de maestría y disertaciones de doctorado, entre otros. La SLR describe el protocolo de investigación de cómo se realiza la búsqueda. Los resultados son usados para describir cuántos y cuáles fueron los estudios seleccionados, así como también extraer información importante del conjunto de estudios como un todo. Se pueden usar varias fuentes para seleccionar el tema de investigación abordado en la revisión: opinión de expertos, conclusiones presentadas en revisiones de literatura previas (Pautasso, 2013) y conocimiento personal, entre otros.

Una justificación importante para el uso de esta metodología es la necesidad de identificar brechas de investigación con el fin de proponer nuevas áreas de desarrollo, líneas de investigación o nuevos proyectos de investigación (Kitchenham et al., 2007; Sorrell, 2007; Tranfield et al., 2003). Posterior al análisis cuantitativo de los resultados de la SLR es necesario realizar un análisis cualitativo a través de una lectura apropiada de las publicaciones seleccionadas que nos permita determinar el estado del arte de la temática en cuestión.

46

Basándonos en Kitchenham et al. (2007) seguiremos tres fases al realizar la SLR: planificar, hacer y reportar (figura 3.1 y tabla 3.1).

Tabla 3.1. Fases y actividades de la SLR.

Elaborada a partir de (Kitchenham et al., 2007; Genero et al., 2014)

Planificar la SLR

1 Identificar la necesidad de la revisión 2 Formular las preguntas de la investigación 3 Definir el protocolo de la revisión 4 Validar el protocolo de la revisión

Hacer la SLR

5 Identificar la investigación relevante 6 Seleccionar los estudios primarios

7 Evaluar la calidad de los estudios primarios 8 Extraer los datos relevantes

9 Sintetizar los datos extraídos

Reportar la SLR

10 Redactar el informe de la revisión 11 Validar el informe de la revisión

Planificar la SLR

La planificación es una actividad relevante para el correcto desarrollo de la SLR. En este trabajo, esta planificación (tabla 3.1) se aplica no solo a la búsqueda en bases de datos científicas, sino también para la búsqueda de literatura no convencional. Según Genero et al. (2014) y Kitchenham et al. (2007), la necesidad de una SLR surge de resumir cuidadosamente toda la información relevante sobre un tema específico de interés (actividad 1).

La actividad 2 consiste en formular las preguntas de investigación. Según afirma Genero et al. (2014) la especificación de las preguntas de investigación es lo más importante de toda revisión sistemática, ya que las preguntas dirigirán todo el proceso de la SLR. También indican que los aspectos a tomar en cuenta para la redacción de las preguntas de investigación son: el problema detectado; la población en la que se recoge la evidencia; la intervención aplicada al estudio empírico (tecnología, herramienta o metodología que se estudia); los resultados, los cuales deben estar relacionados con factores de importancia para los profesionales; el contexto, en el cual se realiza la comparación, el tipo de tareas que se deben realizar en el estudio empírico y el tipo de diseño de los experimentos que se tendrán en cuenta. El número de preguntas de investigación depende de las particularidades de cada estudio (Prikladnicki y Audy, 2010).

Posteriormente se aborda la definición del protocolo de la revisión (actividad 3). Según afirman Kitchenham et al. (2007), un protocolo SLR es un plan formal para llevar a cabo la revisión sistemática, el cual debe reducir la posibilidad de sesgos. En esta actividad se crea la estrategia de búsqueda y de extracción de datos. Los elementos a considerar son (Genero et al., 2014): justificar la relevancia de la necesidad de llevar a cabo la revisión; incluir las preguntas de investigación definidas previamente y establecer la estrategia de búsqueda, definiendo la cadena de búsqueda, el periodo y las fuentes. También afirman Genero et al. (2014) que es aconsejable definir cadenas de búsquedas iniciales y aplicarlas en alguna fuente de búsqueda para detectar en los títulos o resúmenes si en verdad están aportando a los objetivos de la SLR. En cuanto a las fuentes a las que se acuda, deben incluir artículos de revistas indexadas en bases de datos científicas o de congresos internacionales, libros indexados en bibliotecas científicas. En la literatura no convencional las fuentes son: reportes de asociaciones de prestigio, informes científicos de expertos en el área, tesis doctorales, tesis de maestría, normas y estándares de organizaciones reconocidas. Además, es conveniente a su vez revisar la bibliografía de los artículos encontrados. Los criterios de inclusión y exclusión de los estudios primarios ayudarán a reducir el número de publicaciones a analizar.

47

Es importante asociar un valor a cada documento, con el fin de evaluar el nivel de adecuación a la pregunta de investigación de cada publicación. Los investigadores deberán también definir los aspectos a tomar en cuenta para la calificación de cada artículo. Se tendrán en cuenta el título, los autores, el año de publicación y el tipo de publicación. También se deben considerar campos específicos que respondan a las preguntas de investigación y campos que sirvan para evaluar la calidad de las publicaciones. Según afirma Genero et al. (2014), como el protocolo es un elemento crítico para la realización de la SLR, es conveniente que sea validado por expertos (actividad 4).

Hacer la SLR

En esta fase (tabla 3.1), se tienen listos los materiales a utilizar, los equipos, así como el espacio donde se llevará a cabo. Según afirman Genero et al. (2014) y Gómez, Ucán y Gómez (2013), en esta fase se pone en práctica lo planificado previamente en el protocolo y se obtienen los resultados finales que responderán a las preguntas de investigación. Es importante documentar las incidencias y decisiones ocurridas durante las tareas realizadas.

El conjunto de investigaciones relevantes a través de las publicaciones encontradas (actividad 5) se encuentra siguiendo la estrategia de búsqueda definida en el protocolo de revisión. En esta actividad es necesario ir refinando las cadenas de búsqueda, incluir nuevas fuentes o cambiar el período. Es importante documentar los cambios y registrar resultados a través de sistemas de gestión de referencias. Además de los datos básicos (título, autores, año, etc.) es necesario guardar el resumen. El proceso debe seguir lo planificado en la estrategia de búsqueda con procedimientos previamente establecidos. Se deberán detectar si existen publicaciones duplicadas que pueden haber sido encontradas en distintas fuentes. El proceso de selección debe localizar los estudios primarios (actividad 6) que muestren evidencia relacionada con las preguntas de investigación. Finalmente se tendrán todos estos estudios seleccionados y almacenados en algún sistema de referencia, incluyendo los documentos digitales de las publicaciones y la lista de publicaciones excluidas.

Tras haber seleccionado los estudios primarios, estos se someterán a un proceso de evaluación de su calidad en relación a la investigación (actividad 7), siguiendo una lista de comprobación definida en el protocolo de revisión. Se deberán excluir todos los artículos que no superen el umbral mínimo establecido para ser considerados adecuados para la investigación. Posteriormente se debe realizar una lista de extracción de datos, tal como se ha definido en el protocolo. Como resultado se obtendrán los formularios de extracción de datos registrados con la información correspondiente a cada estudio primario que ha sido seleccionado (actividad 8). Una vez recopilados en el formulario de extracción de datos todas las publicaciones que han sido consideradas relevantes, se procederá a sintetizarlas utilizando los métodos establecidos en el protocolo de revisión, con lo que se dará respuesta a las preguntas formuladas. La síntesis es acompañada de tablas y gráficos para ilustrar los resultados (actividad 9).

Reportar la SLR

En esta fase del proceso (tabla 3.1), las métricas son analizadas y contrastadas con las hipótesis previamente definidas. Además, se emplean técnicas estadísticas para analizar e interpretar las métricas obtenidas. Según Kitchenham et al. (2007), para finalizar la revisión sistemática se debe redactar un informe que refleje todo el proceso de revisión (actividad 10), considerando el medio de divulgación seleccionado al definir el protocolo. También indican que debe existir una estructura y contenido recomendables para redactar el informe de la revisión. Es necesario recopilar la información con el detalle de calidad documental y relevancia de resultados. Posteriormente, se pueden adjuntar reportes de amenazas de

48

validez, limitaciones de la SLR y lecciones aprendidas, que recopilen las experiencias de la SLR realizada y puedan servir de referencia para futuros investigadores. Mientras más información sobre el estudio, más transparencia de la validez de la SLR realizada. Finalmente, el informe se debe enviar a expertos para su validación (actividad 11).

3.1.4 Estrategia de la SLR

Tal como se planteó en el capítulo 1, este trabajo de investigación requiere evaluar el efecto de la cartera de proyectos de TI como buena práctica para la implantación de Gobernanza de las TI en las universidades. En el capítulo 2 se propuso inicialmente una revisión sistemática de la literatura científica y no convencional con el fin de identificar los estudios pertinentes a la pregunta de investigación planteada:

¿En una universidad con una Gobernanza de las TI no explícita, la cartera de proyectos de TI es una buena práctica para la implantación de una cultura de Gobernanza de las TI?

Para formular la pregunta de investigación de la actividad 2 de la SLR, se ha considerado:

1. El problema encontrado: Es la falta de una adecuada implantación de un marco de Gobernanza de las TI específico para universidades.

2. La población en la que se recoge la evidencia: Son las universidades con una Gobernanza de las TI no explicita.

3. El grupo de intervención: Es la cartera de proyectos de TI como buena práctica que trata de manera transversal todos los principios de Gobernanza de las TI. 4. Los resultados: Deberán estar relacionados con la cartera de proyectos de TI, como

buena práctica para la implantación adecuada de un marco de Gobernanza de las TI específico para las universidades.

Abordamos la definición del protocolo de revisión (actividad 3). Se propone la utilización de cuatro términos como palabras clave de la búsqueda: “Gobernanza de las TI”, “Cartera de proyectos”, “Buenas prácticas” y “Universidades”, con sus distintas variantes terminológicas y considerando la búsqueda tanto en inglés como español. Las bases de datos consultadas son WoS, Scopus y Google Académico (como buscador de apoyo). Además, por la particularidad del tema de investigación, se complementa el estudio con bases de datos no convencionales de universidades y de asociaciones internacionales reconocidas. Los criterios de inclusión para la búsqueda en bases de datos científicas y repositorios de literatura no convencional se observan en la tabla 3.2 y las áreas de conocimiento en la tabla 3.3.

Tabla 3.2. Criterios de inclusión para la búsqueda

Criterios de inclusión para bases de datos científicas

• Idioma Inglés, Español

• Año de publicación 2000 en adelante

• Tipo de documento Artículos, artículos de conferencia (Congresos), libros

Criterios de inclusión para literatura no convencional

• Idioma Inglés, Español

• Año de publicación 2000 en adelante

49

Tabla 3.3. Áreas del conocimiento

Áreas del conocimiento

• Ciencias de la computación • Ingeniería • Administración y negocios • Economía y finanzas • Ciencias de decisión • Tecnologías de la información

De acuerdo con el método SLR, una vez seleccionados los términos clave, se ha realizado un análisis de todas las palabras equivalentes, relacionándolas con el conector lógico OR. Y los 4 querys (cadena de consulta con la base de datos) se relacionan con el conector AND para encontrar las publicaciones adecuadas.

3.1.5 Literatura de bases de datos no convencionales

Los resultados de una investigación se publican en revistas, actas de congresos, monografías, tesis e informes. La forma de publicación es muy diversa y el acceso a las publicaciones en muchos casos no es sencillo ni público. Ferreras (2016) afirma que internet y la web, han logrado resolver estos problemas bajo el nuevo esquema de revistas digitales que se han hecho populares por sus características propias y versatilidad. Pero este nuevo escenario también abre una nueva vía de difusión a otro tipo de literatura de investigación como son las tesis doctorales, fundamentales en la investigación científica y por tanto esenciales en la comunicación de la investigación (Cesare, Luzi y Ruggieri, 2008; Sondergaard, Andersen y Hjorland, 2003; Sorli y Merlo-Vega, 2002). Por esta razón, cualquier tipo de contenido o publicación en la web puede ser, en principio, de acceso abierto y puede ser digitalizado y puesto en línea sin barreras económicas o permisos para su reutilización (Ferreras, 2016). Google Académico también permite reconstruir el ciclo de vida del documento, al hacer posible que se encuentren las diferentes versiones a texto completo del documento que solo se podría lograr accediendo a repositorios con restricción, haciendo evidente la transformación de la literatura no convencional en convencional. Según afirma Dunn (2005) se debe rastrear la existencia o no de la interdependencia entre la literatura convencional y no convencional.

Por estas razones, para esta investigación se recopilan documentos existentes en bases de datos no convencionales. Además, como el objetivo que se plantea es encontrar si existen investigaciones sobre las mejores prácticas de Gobernanza de las TI en Universidades, por la naturaleza del tema no se pueden obviar las fuentes procedentes de asociaciones profesionales. Por ello, la búsqueda en repositorios de universidades y de asociaciones internacionales, también forman parte importante de esta investigación.