REGRESSION ANALYSIS OF PILOT DATA-SET

A continuació és pot veure de forma resumida la duració planificada del projecte, en la figura 68, i l’execució temporal real a la figura 69.

Joan Carles Martínez Rodríguez

Figura 69. Planificació temporal real del projecte.

7.4 Propostes d’estudi

El projecte només ha mostrat una part de les característiques del gestor MESOS. Motius com el temps limitat, i els recursos materials disponibles, fan que no s’abordin més característiques molt interessants, o fins i tot una prova d’eficiència més propera a un entorn real d’execució. Per aquest motiu presento una llista d’objectius d’estudi que m’hauria agradat completar, i que poden donar una visió més exacta de les possibilitats del gestor MESOS:

- Desplegar el gestor MESOS en un clúster format per desenes de servidors i executar característiques com les descrites a continuació.

- Clúster MESOS d’alta disponibilitat12_{. El model provat només disposa de tres nodes esclaus i un node màster.}

Es tractaria d’assegurar la substitució d’un node màster caigut per un altre de reserva, i tot de forma automàtica. La tecnologia MESOS permet fer-ho de forma automàtica mitjançant Apache Zookeper37_{, que}

és una característica que gestiona els nodes màsters, els esclaus, i l’elecció i reconfiguració i d’un nou node màster en cas necessari.

- Utilitzar altre eines de gestió, que permeten un control més exhaustiu del clúster. Per exemple:

- CHRONOS38_{: substitut de CRON com a planificador de tasques amb tolerància a errors.}

- Anàlisi de xarxa39_{. A partir de la versió utilitzada hi ha la possibilitat d’estudiar el comportament del}

clúster analitzant la sortida de cada node esclau, per analitzar possibles problemes. En la última versió (0.21.0) fins i tot es pot analitzar el comportament d’un container concret per evitar que aquet pugui limitar la xarxa. Els valors que es poden monitoritzar en l’esclau són els següents:

- net_rx_bytes - net_rx_dropped - net_rx_errors - net_rx_packets - net_tx_bytes - net_tx_dropped - net_tx_errors - net_tx_packets

Joan Carles Martínez Rodríguez

- Inici automàtic del clúster. És possible fer-ho estudiant els scripts específics que la plataforma MESOS posa a la nostra disposició36_{. En aquest projecte, al ser de mida reduïda, no ha estat necessari per què amb sessions}

remotes s’ha pogut fer a partir d’uns scripts molt simples.

- Provar altres entorns d’aplicació de la llista enunciada a la secció 3.1.

- En un nivell molt més avançat es podria estudiar la realització d’un entorn d’aplicació40 _{d’interès, a partir de}

les eines que la comunitat MESOS posa al nostre abast41_{. Aquest entorn després quedaria a disposició d’altres}

projectes.

Per últim indicar que seria molt interessant endinsar-se en les bases de disseny del sistema. En com s’ha definit un canvi de paradigma que sembla tan senzill, i que està inspirat en l’aïllament basat en contenidors, natius Linux o Docker, que permeten una capa de gestió alhora lleugera, però potent i flexible, i veure tot un conjunt de servidors com a un únic repositori de recursos (pool). Crec també que la idea anirà més enllà de considerar un datacenter limitat a un edifici físic, i en un futur pròxim podrem veure solucions basades en MESOS, però que permetran compartir recursos de forma distribuïda geogràficament, gràcies a les altes velocitats de transferències de xarxes. D’aquesta forma l’aprofitament de recursos i la resistència a errors, o disponibilitat de recursos, seran molt altes. També serà interessant analitzar que aportarà MESOSPHERE DCOS, ideat com a un sistema operatiu per la centre de dades, i què es té previst el seu llançament a principis del proper any.

7.5 Autoavaluació

Una de les fases més importants, o potser la més important, d’un projecte qualsevol a la vida és la aprendre dels errors propis. Aquests poden ser tant comesos per nosaltres mateixos com de la resta de companys o contractistes que intervinguin. La premissa bàsica és que mai, sobretot si és la primera vegada que ens enfrontem a un projecte de certa entitat, tot sortirà segons el previst. L’habilitat que hem de desenvolupar és la de treure profit d’aquests errors, analitzant els seus motius i les solucions aplicades, i així anar augmentant la nostra experiència personal. Només d’aquesta forma podem evitar repetir alguns aspectes desagradables, i quan es produeix algun error tenir almenys algunes possibles alternatives.

De forma resumida els punts importants d’aquest autoanàlisi són els següents:

- Com és natural és pot afirmar és que tot i haver complert els objectius marcats, sempre hi han coses a millorar o nous objectius que fins llavors havien passat desapercebuts. Queda patent en el llistat d’estudis a continuar sobre aquestes tecnologies reflectit a la secció 7.4.

- El projecte tal i com està plantejat és una tasca a abordar, organitzar i realitzar per una sola persona. Cosa que dificulta la qualitat final, ja que no és recomanable fer de director, analista, programador i provador... Aquesta “múltiple personalitat” no permet seguir fil per randa una certa planificació, ni una tria adequada de decisions per falta de coneixements, o fins i tot discussions productives. Així triar els companys de viatge, si és possible, és una de les tasques més importants per garantir l’èxit.

- Un punt important és el desconeixement de la matèria a desenvolupar, en aquest cas la plataforma MESOS. Fins a la realització del projecte tenia el recull bàsic dels conceptes teòrics adquirits als llarg dels estudis. Conceptes com treball distribuït, sistemes operatius, estudi de mètriques, computació paral·lela, arquitectura de computadors, xarxes de computadors i protocols de comunicacions. Tots ells de manera més o menys destacada amb anat sorgint en la realització del projecte: disseny i configuració de la infraestructura física, configuració del sistema operatiu i del sistema de gestió del clúster, treball distribuït de computació paral·lela entre els diferents nodes amb MPI i anàlisi de l’execució en forma de mètriques. A l’inici del projecte no tenia una visió de com de transversal ha acabat per definir-se, i com han interaccionat fins que s’han convertit en una cosa sòlida, en un sistema què, tot i molt limitat de recursos, funciona segons els previst.

Joan Carles Martínez Rodríguez

El desconeixement previ ha de significar només una cosa: prudència en la tria d’objectius i en la planificació temporal. En aquest cas es podia resoldre amb pocs objectius a realitzar, que es podien ampliar si fos necessari, i un calendari amb petites toleràncies. També amb la revisió constant del punt de realització, per rectificar l’abans possible. La importància de fer-ho rau en que en un projecte real no pots avisar al teu client al final del temps previst, que allò és irrealitzable. Un anàlisi constant permet reajustar terminis, i donar explicacions a temps. Així no cal crear grans objectius, si és té una bona idea, la senzillesa d’execució serà la que garantirà el seu èxit.

- Els projectes de qualsevol tipus necessiten de comunicació constant entre els membres que formen l’equip: per fixar objectius, guiar treballs, resoldre dubtes i validar les solucions aplicades, i també motivar en els moments de major dubte en la continuïtat del treball. El projecte només comptava amb el seguiment de dos persones, però crec que aquesta part s’ha realitzat de forma excel·lent, sobretot si pensem en que la comunicació s’ha resolt sempre per correu electrònic, que afegeix una certa dificultat de temps de resposta, però pocs han estat els correus que no han tingut resposta en poques hores facilitant les solucions.

- La memòria és feble i millor tenir-ho documentat per evitar recorre de nou els mateixos camins. En el cas d’aquest projecte es va crear una base de dades dedicada a anar recollint els treballs diaris, dubtes a resoldre, etcètera. També el suport del paper en forma de diari, més flexible i ràpid d’apuntar el que es feia a cada moment.

El camí no ha estat fàcil sobretot per què el domini temporal és molt petit. L’inici dels primers estudis sobre la temàtica es van iniciar al setembre, una mica abans de l’inici del semestre, i fruït de la constant comunicació que hem mantingut entre consultor i alumne. El resultat final és una introducció als sistemes de gestió dels centres de processament de dades i càlcul, i amb tecnologies que encara estan en fase avançada de desenvolupament, i que per tant estaran encara més presents en un futur proper.