Databases

5.3.

APTOS

Diagrama de la mejor arquitectura encontrada para APTOS condicional a etiquetas.

Tabla de resultados

Method

Inception score

FID

Comment

Model Gan_APTOS

1.96±0.03

173.18±0.07

-

Dataset APTOS original

1.00±3.37

-

-

Tabla 5.3:

Resultados con APTOS. IS: mayor es mejor. FID: menor es mejor. No es posible comparar los resultados de otros investigadores en el trabajo con APTOS puesto que no se ha encontrado bibliografía que trabaje con este dataset.

La puntuación obtenida por el dataset original en el IS es 1, la menor posible. Esto se debe a que no es posible un correcto calculo del IS con las pocas imágenes de las que consta el dataset APTOS. Tanto por falta de bibliografía que trabaje con este dataset como por la im- posibilidad de calcular el IS sobre el dataset original solo es posible la comparación visual con APTOS. Observando las imágenes generadas en el apartado de Desarrollo podemos observar que aunque con muy mala calidad la red ha aprendido a diferenciar y generar imágenes de retinas con retinopatía diabética en distintas fases de la enfermedad.

Conclusiones

Los resultados sobre MNIST han sido muy buenos. Se ha conseguido una generación condicionada tanto a etiquetas como a máscaras indistinguible de las originales a simple vista. También decir que esto no es de sorprender puesto que es una base de datos sencilla pero nos sirve para comprobar la validez del método. El cual es aplicable a bases de datos más complejas.

Respecto a la diferencia entre condicionar a etiquetas o máscaras. No ha habido diferencia en las imágenes generadas pero si en el tiempo de entrenamiento. El cual ha sido mucho mayor, en un factor de x2 respecto al tiempo requerido para entrenar con etiquetas. Esto también es lógico, puesto que en el caso condicionado a etiquetas introducimos a la red el vector aleatorio ’z’ de 128 elementos + la etiqueta codificada en un vector de 10 elementos. En el caso de la condición a máscara se introduce el vector ’z’ + una máscara codificada en 784 elementos (28x28 píxeles).

En la generación sobre cifar-10 se obtiene una gran calidad en algunas clases como los caballos, camiones o aviones. Pero no ha sido capaz de modelizar correctamente otras como los pájaros, ranas o perros.

Esto tiene bastante sentido, la forma de los caballos es bastante sencilla y su posición es bastante estable, igual miran a un lado u otro pero poco más, igual pasa con los camiones y aviones. Pero los animales que no ha logrado modelizar son muy variados dentro de su clase y su forma y posición en las fotos cambia mucho de una a otra.

En el caso de la base de datos APTOS al comparar las imágenes originales de aptos (re- escaladas y en blanco y negro) con las generas podemos ver que son bastante similares y que el generador a aprendido la diferencia entre las clases. Puesto que se nota (en general) la diferencia entre una retina sana y una con daño moderado o grave. No ha sido posible realizar el entrenamiento con una tamaño de imagen mayor pero podemos concluir que excepto por el mayor coste computacional debería ser posible sin problemas.

Los actuales resultados obtenidos pueden ser mejorados desde múltiples ámbitos. Con una mayor potencia de computo, nuevas arquitecturas y mejoras en la técnica o volviendo más eficientes los métodos actuales. Por lo tanto no parece haber motivo para que en los próximos años estas redes generativas no sean capaces de modelizar universos de trabajo más complejos, mucho más rápido y con mayor calidad.

Hay una importante relación entre la calidad de un algoritmo de aprendizaje automático y la calidad de sus datos. Estos métodos serán capaces de crean ingentes cantidades de datos etiquetados y con variaciones posibles dentro del universo de trabajo aumentando así la precisión de los algoritmos que los usen.

6.1. Mejoras futuras

6.1.

Mejoras futuras

Este proyecto presenta algunas limitaciones heredadas de AutoGAN. El espacio de bús- queda es limitado y debería ampliarse con los últimos avances (ej. funciones de perdida, elementos de arquitectura) para mantenerse competitivo.

Se ha trabajado con imágenes reescaladas a 32x32 píxeles. El trabajo con imágenes de mayor resolución presentaría un coste computacional muy alto por lo que seria importante aumentar la eficiencia del algoritmo de búsqueda.

Para una mayor fiabilidad en las métricas IS y FID se debería entrenar una red discrimi- nadora sobre el dominio de trabajo. La red InceptionV3 esta entrenada en ImageNet, por lo tanto es ideal para reconocer objetos, vehículos y animales. Pero al cambiar de dominio, por ejemplo a la imagen médica, se echa en falta una red de este tipo entrenada en imagen médica.

[1] G. julián, “Las redes neuronales: qué son y por qué es- tán volviendo.” https://www.xataka.com/robotica-e-ia/ las-redes-neuronales-que-son-y-por-que-estan-volviendo. Accessed: 2020-04-18.

[2] M. Minsky and S. Papert, Perceptrons: An Introduction to Computational Geometry. Cambridge, MA, USA: MIT Press, 1969.

[3] M. Leshno, V. Y. Lin, A. Pinkus, and S. Schocken, “Original contribution: Multilayer feedforward networks with a nonpolynomial activation function can approximate any function,”Neural Netw., vol. 6, p. 861–867, June 1993.

[4] I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. MIT Press, 2016. Book in preparation for MIT Press.

[5] Glosser.ca, “Colored neural network.” https://en.wikipedia.org/wiki/ Artificial_neural_network. Accessed: 2020-06-10.

[6] “Aprendizaje profundo.” https://www.aprendemachinelearning.com/ aprendizaje-profundo-una-guia-rapida/. Accessed: 2020-04-14.

[7] Phung and Rhee, “A high-accuracy model average ensemble of convolutional neural networks for classification of cloud image patches on small datasets,”Applied Scien- ces, vol. 9, p. 4500, 10 2019.

[8] A. Krizhevsky, I. Sutskever, and G. Hinton, “Imagenet classification with deep convo- lutional neural networks,”Neural Information Processing Systems, vol. 25, 01 2012. [9] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair,

A. Courville, and Y. Bengio, “Generative Adversarial Networks,”arXiv e-prints, p. ar- Xiv:1406.2661, June 2014.

[10] V. Sandfort, K. Yan, P. Pickhardt, and R. Summers, “Data augmentation using gene- rative adversarial networks (cyclegan) to improve generalizability in ct segmentation tasks,”Scientific Reports, vol. 9, 12 2019.

[11] A. Beers, J. Brown, K. Chang, J. P. Campbell, S. Ostmo, M. F. Chiang, and J. Kalpathy-Cramer, “High-resolution medical image synthesis using progressively grown generative adversarial networks,” 2018.

[12] N. K. Singh and K. Raza, “Medical image generation using generative adversarial net- works,” 2020.

[13] J. Wei, A. Suriawinata, L. Vaickus, B. Ren, X. Liu, J. Wei, and S. Hassanpour, “Gene- rative image translation for data augmentation in colorectal histopathology images,” 2019.

[14] Z. Wang, Q. She, and T. E. Ward, “Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy,”arXiv e-prints, p. arXiv:1906.01529, June 2019.

BIBLIOGRAFÍA

[15] T. Neff, C. Payer, D. Štern, and M. Urschler, “Generative Adversarial Network based Synthesis for Supervised Medical Image Segmentation,” May 2017.

[16] I. Goodfellow, “Nips 2016 tutorial: Generative adversarial networks,” 2016.

[17] L. Metz, B. Poole, D. Pfau, and J. Sohl-Dickstein, “Unrolled Generative Adversarial Networks,”arXiv e-prints, p. arXiv:1611.02163, Nov. 2016.

[18] J. Ahmad, K. Muhammad, and S. W. Baik, “Data augmentation-assisted deep lear- ning of hand-drawn partially colored sketches for visual search,”PLOS ONE, vol. 12, pp. 1–19, 08 2017.

[19] A. Borji, “Pros and cons of gan evaluation measures,” 2018.

[20] T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X. Chen, “Impro- ved Techniques for Training GANs,”arXiv e-prints, p. arXiv:1606.03498, June 2016. [21] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter, “GANs Trained

by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium,” arXiv e- prints, p. arXiv:1706.08500, June 2017.

[22] J. Yang, A. Kannan, D. Batra, and D. Parikh, “Lr-gan: Layered recursive generative adversarial networks for image generation,” 2017.

[23] V. Khrulkov and I. Oseledets, “Geometry score: A method for comparing generative adversarial networks,” 2018.

[24] S. Barratt and R. Sharma, “A Note on the Inception Score,” arXiv e-prints, p. ar- Xiv:1801.01973, Jan. 2018.

[25] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, “Rethinking the Inception Architecture for Computer Vision,”arXiv e-prints, p. arXiv:1512.00567, Dec. 2015. [26] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and F. F. Li, “Imagenet: a large-scale

hierarchical image database,” pp. 248–255, 06 2009.

[27] T. Elsken, J. H. Metzen, and F. Hutter, “Neural architecture search: A survey,” 2018. [28] X. Gong, S. Chang, Y. Jiang, and Z. Wang, “Autogan: Neural architecture search for

generative adversarial networks,” 2019.

[29] “Aptos 2019 blindness detection.” https://www.kaggle.com/c/ aptos2019-blindness-detection. Accessed: 2020-04-25.

[30] Z. Xiao, Q. Yan, and Y. Amit, “Generative latent flow,” 2019.

[31] A. B. Dieng, F. J. R. Ruiz, D. M. Blei, and M. K. Titsias, “Prescribed generative adver- sarial networks,” 2019.

[32] I. Kavalerov, W. Czaja, and R. Chellappa, “cgans with multi-hinge loss,” 2019.

[33] G. L. Grinblat, L. C. Uzal, and P. M. Granitto, “Class-splitting generative adversarial networks,” 2017.

[34] T. Miyato and M. Koyama, “cgans with projection discriminator,” 2018. [35] K. Shmelkov, C. Schmid, and K. Alahari, “How good is my gan?,” 2018.

[36] F. H. K. dos Santos Tanaka and C. Aranha, “Data augmentation using gans,” 2019. [37] “The mnist database of handwritten digits.”http://yann.lecun.com/exdb/mnist/.

Red generadora MNIST con

mascaras

C=ES

Fecha/Hora Mon Jun 29 22:59:19 CEST 2020

Emisor del

Certificado [email protected], CN=CA Facultad deInformatica, O=Facultad de Informatica - UPM, C=ES

Numero de Serie 630

Metodo urn:adobe.com:Adobe.PPKLite:adbe.pkcs7.sha1 (Adobe

In document Machine Learning Guided Discovery and Design for Inertial Confinement Fusion (Page 147-181)