An overview of consumer decision making

Para poder ofrecer unos servicios de calidad a nuestros usuarios, tenemos que contar con la mejor tecnología hardware del mercado. Haciendo un estudio de mercado de las grandes marcas que suministran hardware, nos hemos decantado por servidores de IBM por su relación calidad/precio y porque también tendremos software de esta compañía y nos podría abaratar la transacción por volumen de compra.

Al ser nuestros servicios de usuarios, una app y una página web, nuestros servidores tendrán que ir creciendo conforme nuestros usuarios lo hagan, ya que hay que soportar un mayor número de accesos a nuestra aplicación y esto será el parámetro nos indique cuanto tenemos que crecer.

La arquitectura IT consta de:

1. Bastidor IBM 42U 1200mm Deep Dynamic Expansion Rack, modelo 93604EX. El bastidor será el que aloje nuestros servidores Blade. Como características principales podemos destacar:

a. 42U de espacio de bastidor diseñado para obtener mayor flujo de aire Resistencia y estabilidad excelentes con la construcción de acero soldado y las ruedas giratorias de alto rendimiento

b. Está diseñado para enviarse precargado y listo para ejecutarse, además puede reubicarse fácilmente incluso cuando esté completamente cargado

c. Cuatro compartimentos laterales de 1U para la distribución de la energía y otros componentes

d. Las puertas bloqueables y las paredes laterales proporcionan un entorno más seguro para el equipo y los datos

2. Chasis para servidores Blade, que irá integrado en el bastidor. El modelo escogido es IBM BladeCenter H 88525TU. Algunas características de este producto son:

a. Gracias a sus 14 bahías para servidores, esta unidad le permite alojar hasta 112 procesadores de ocho núcleos en un bastidor.

b. Ofrece un alto rendimiento, eficiencia energética y versatilidad para ejecutar las aplicaciones más exigentes en centros de datos de gran tamaño

c. Reduce la factura energética con fuentes de alimentación de alta eficiencia, del 94 por ciento, líderes del sector y con certificación 80 PLUS Platinum1

d. Proporciona un 12 por ciento más de rendimiento por vatio en comparación con los sistemas de la competencia

e. Chasis optimizado para bastidor de 9U. Permite escalabilidad hardaware

f. Hasta 14 bahías para servidores blade. Cada bahía podemos poder un servidor blade que más adelante veremos.

g. Hasta cuatro módulos de fuente de alimentación con distribución de carga, redundantes y hot-swap de 2980 W

h. El midplane de alta disponibilidad le ayuda a conseguir los máximos tiempos de actividad posibles, además de una protección de la inversión en tecnologías futuras.

3. Dentro del chassis, colocaremos 10 servidores BladeCenter HS23 modelo 7875AC1 Elite. A pesar de no ser servidores de alto almacenamiento si son servidores muy potentes con mayor memoria de caché que mejoran la productividad a un mayor rendimiento de procesamiento. Entre otras cosas, lo utilizaremos para dar respuesta al servicio de mapas GIS. Con este modelo, aumentamos al máximo las aplicaciones multiproceso para una ejecución simultánea más rápida y poder así, resolver todas las peticiones de nuestros usuarios. A estos servidores de les pueden añadir discos duros ya sean SSD y HDD SAS con funciones RAID avanzadas. Algunas características importantes son:

a. Memoria escalable para entornos virtualizados y aplicaciones empresariales que hacen un uso importante de la capacidad informática

b. Capacidad para transferir datos de entrada/salida (E/S) a una velocidad ocho veces superior a la de la célula de memoria que contiene, lo que permite mayores velocidades de bus y un mayor rendimiento durante los picos de trabajo, en comparación con la memoria de la generación anterior

c. Aumenta el ancho de banda directamente disponible para el procesador a latencias inferiores

d. Las bahías de almacenamiento hot-swap permiten la rápida sustitución de las unidades internas

e. Ocho cores y procesamiento de hasta 16 subprocesos simultáneos

4. Para alojar y procesar los datos, tendremos un servidor específico, modelo IBM System X3950 X6. Este servidor irá dentro del bastidor y lo hemos escogido porque es recomendado por IBM para el análisis de datos y el uso de herramientas big data. Como características importantes tenemos:

a. Hasta ocho procesadores/120 cores por cada servidor de 8 procesadores.

b. Hasta 30,8 TB de almacenamiento Serial Attached SCSI/Serial ATA (SAS/SATA), ampliable.

c. Un rendimiento del almacenamiento líder a través de los tiempos de respuesta de la tecnología flash más rápidos para las cargas de trabajo de virtualización, planificación de recursos empresariales (ERP) y análisis más importantes para la empresa.

Bastidor IBM 42U 1200mm Deep Dynamic Expansion Rack, modelo 93604EX

BladeCenter HS23 modelo 7875AC1

IBM BladeCenter Chassis H 88525TU

Esta sería nuestra arquitectura inicial para nuestro proyecto empresarial, teniendo en cuenta que esta arquitectura podría crecer en un corto plazo de tiempo. El crecimiento se irá viendo afectado por la cantidad de usuarios que tenga nuestra web o app, sobre todo a la cartografía GIS que es la más recursos necesita. La escalabilidad de nuestra arquitectura podrá ser en horizontal o vertical, ya sea por la compra de nuevos bastidores o nuevos servidores que se añadirán al existente.

SOFTWARE

Para poder ofrecer los servicios, ya descritos, de nuestra empresa tenemos que sustentar la base con una buena arquitectura software que sea capaz de modelar, diseñar e implementar nuestros servicios. Los puntos esenciales de nuestro software son:

Arquitectura Hadoop.

La primera fase del proyecto sería hacer una extracción, scrapping/crawler, de los recursos de la web. La idea sería, nutrir nuestro operacional de recursos/servicios (nuestra entidad de base de datos). Por recurso entendemos, todo lo que la aplicación puede ofertar o sugerir a un usuario a la hora de planificar su viaje, restaurantes, hoteles, rent a car, locales de ocio, monumentos, etc…

Tendríamos que montar una arquitectura software, con software del ecosistema Hadoop, HDFS, MapReduce, Hadoop Streaming, Hive and Hue, Pig, Sqoop, Oozie, HBase, Flume, Whirr, Mahout, Fuse, Zookeeper, entre otros.

Este ecosistema se utilizará para montar un crawler que nos extraiga, analice y categorice los recursos encontrados en la web, tales como paginasmarillas, booking, Facebook, twitter,renfe, bd-andalucia.es, etc… .También será la encargada de analizar toda la información que podamos encontrar como datos de las diferentes oficinas de turismo, ayuntamientos, cabildos, compra de diferentes bases de datos a empresas o cámaras de comercios.

Crawler, buscadores WEB y su funcionamiento

Los Web crawler, - como se ya ha mencionado - permiten recolectar (copiar) información de diferentes servidores Web. Sin embargo, este tipo de información puede provenir de diferentes servicios (páginas, documentos pdf, redes sociales) que hacen que presenten diferentes formatos, lenguajes y estructuras. Con el fin de poder homogenizar dicha información de acuerdo a un fin particular como la indexación o la extracción de patrones se hace necesario utilizar técnicas propias de la minería de texto como la clasificación.

Un clasificador es una técnica capaz de diferenciar elementos de acuerdo con sus características y agruparlos en órdenes o clases. Estos algoritmos se pueden dividir en dos grandes grupos. Por un lado, se encuentran los que parten de un conjunto de datos para los que se desconocen las clases en las que se pueden agrupar (clasificación no supervisada). Por otro lado están los algoritmos de aprendizaje supervisado, en los que se dispone de un conjunto de datos con ejemplos de entrenamiento que han sido etiquetados previamente.

Dentro de los algoritmos de clasificación supervisada, que se utilizan habitualmente para clasificar texto, pueden encontrarse entre otros los algoritmos de SVM (Support Vector Machine o Máquinas de Vectores de Soporte). Estos algoritmos son los que usaremos para categorizar los recursos.

Un buscador Web es un sistema de recuperación de información en Internet, basado en páginas previamente catalogadas, y cuyos resultados son enlaces a las páginas reales que contengan ciertos parámetros o criterios. El buscador habitualmente toma como referencia meta-etiquetas de marcado como títulos, descripción o palabras clave dentro de los documentos, y con base en ello clasifican o ponderan los documentos. De esta forma, un documento con sus meta-etiquetas completas y con contenido relevante será mejor ponderado por un buscador web que un documento que no contenga tales etiquetas.

Este sería nuestro esquema de crawler:

En resumen, utilizaremos este ecosistema para la búsqueda de productos, para minería de datos, procesos de ETL y análisis de datos.

Software App Mobile/Web Mobile. Para el desarrollo de nuestra aplicación móvil y nuestra web hemos escogido el producto de IBM Worklight 6.X. Dentro de las posibilidades que nos ofrece esta herramienta, nos hemos decantado por desarrollar una App mixta, por un lado será híbrida y otras partes del desarrollo será en código nativo específico para cada dispositivo (Objective-C para IOS, Java para Android).

IBM Worklight proporciona una plataforma avanzada de aplicaciones móviles y herramientas de software para teléfonos inteligentes y tabletas. Worklight ayuda a las organizaciones de cualquier tamaño a desarrollar, ejecutar y gestionar de forma eficaz las aplicaciones HTML5, híbridas y nativas, mediante un IDE para móviles flexible, middleware para móviles de nueva generación, seguridad global y funciones de gestión y análisis integradas. La tecnología Worklight habilita aplicaciones completas para diferentes plataformas, sin que sean necesarios la conversión del código, los intérpretes de propiedad o los impopulares lenguajes de programación.

Worklight consta de los componentes:

· Studio: Worklight Studio es un IDE basado en Eclipse que permite a los desarrolladores realizar todas las tareas de codificación e integración necesarias para desarrollar una aplicación totalmente operativa. Utilizando las herramientas básicas de Eclipse, aumentadas con las diferentes características que proporciona el plug-in de Worklight, Studio desarrolla aplicaciones de forma transparente y facilita la conectividad de las empresas. (En resumen es el estorno de desarrollo Eclipse).

· Worklight Server: el servidor basado en Java de Worklight es una pasarela escalable entre las aplicaciones, los servicios externos y la infraestructura de fondo de la empresa. El servidor contiene características de seguridad para habilitar la conectividad, la extracción y manipulación de datos de diferentes fuentes, la autenticación, la actualización directa de aplicaciones web e híbridas más funciones de gestión operativa.

· Componentes de tiempo de ejecución de dispositivos de Worklight: el SDK de Worklight consta de las API de cliente de tiempo de ejecución, que son bibliotecas esenciales que complementan el servidor ya que exponen una interfaz predefinida con la que acceder a las funciones nativas de los dispositivos. Worklight utiliza la infraestructura PhoneGap para ofrecer un puente uniforme entre las tecnologías web estándar y las funciones nativas que proporcionan los diferentes sistemas operativos de móviles. (En resumen Apache Cordova, que incluye API para acceder a las funciones del teléfono como la cámara, contactos, imágenes, volumen, sensores, …)

· Consola: la consola de Worklight es una interfaz de usuario basada en web dedicada a la supervisión y administración continuada de Worklight Server, a desplegar sus aplicaciones, adaptadores y a enviar notificaciones. La consola permite controlar y gestionar el acceso de las aplicaciones a la red de la empresa basándose en reglas predefinidas de la versión de la aplicación y el tipo de dispositivo y también permite personalizar los mensajes asociados que recibe el usuario. (En resumen, podemos ver el repositorios de aplicaciones, ver cómo va el desarrollo de la aplicación a través de la web, configuraciones básicas de nuestra app y ver los usuarios que acceden, tiempo, etc..)

Base de Datos. La base de datos escogida para formar nuestro operacional, es IBM DB2 with BLUE Aceleration, ya que DB2 10.5 nace de la necesidad de administrar y manipular grandesvolúmenes de información.

BLU es una nueva tecnología desarrollada por IBM e integrada directamente dentro del motor de DB2. BLU es un nuevo motor de almacenamiento que permite guardar la información en forma columnar y así hacer la explotación de la información de una manera fácil y rápida. Esta característica incrementa el performance, ahorros en almacenamiento, optimización del uso de memoria, mejorar el I/O de manera eficiente y explotando las capacidades del CPU.

El concepto de BLU también surge de la idea de almacenar la información por columnas y de las pruebas realizadas al ejecutar una consulta en 10TB de información arrojando el resultado en menos de un segundo. Sus siglas en inglés son Unique Blink, lo que significa un solo parpadeo para ver el resultado de una consulta. Otro significado se deriva en (B)ig Data, (L)ightning Fast (velocidad del rayo) y (U)ltra Easy (Ultra fácil).

DB2 BLU está diseñado bajo las siguientes ideas: a. Simple y fácil de usar

b. Compresión extrema

c. Almacenamiento de la información por columnas d. Salto de datos (Data Skipping)

e. Paralelismo multiprocesamiento f. Explotación del CPU

g. Datos en memoria

Por todas estas características hemos escogido DB2 como nuestro gestor de base de datos. Nuestro modelo de base de datos, gestiona localizaciones/ubicaciones y para ello nos hemos basado en las directiva Inspire y en el marco de referencia de TMFORUM.

Cartografía GIS. Cuando un usuario planifica un viaje con nuestra aplicación, se le presenta en un mapa la planificación de su viaje/ruta. El usuario la puede ir modificando a su gusto directamente en el mapa e ir añadiendo nuevos destinos directamente desde el mapa.

Los mapas tendrán bastante uso dentro de la aplicación, ya que añade la funcionalidad de GPS, es decir, le indicará al usuario el recorrido hasta llegar a su próximo destino.

Con la funcionalidad on-the-go, por ejemplo, que un usuario quiera ver lo que hay a su alrededor de un determinado tipo de servicio, se le mostrará un mapa de globos con los servicios solicitados.

Se ha optado por comprar la cartografía a ESRI, ya que tienen productos específicos que nos ayudarán con el desarrollo de la aplicación. El producto ArcGIS es una completa plataforma de información que permite crear, analizar, almacenar y difundir datos, modelos, mapas y globos en 3D, poniéndolos a disposición de todos los usuarios según las necesidades de la organización.

Como sistema de información, ArcGIS es accesible desde clientes desktop, navegadores web, y terminales móviles que se conectan a servidores de departamento, corporativos.

También disponen de Location Analytics, que facilita el análisis geográfico de tus datos con mapas intuitivos y herramientas analíticas.

CASOS DE USO