3.3 Choice of Signaling protocol used in this study
3.3.3 Constrained-Routing Label Distribution Protocol (CR-LDP)
dos por una representación de palabras distinta por capa y filtros de 3,4 y 5. Luego se concatena con una RNN LSTM, La configuración de la red es detallada en la siguiente lista:
6.2. EXPERIMENTOS 60 • Probabilidad drop-out de 0.5
• Dimensiones de Word Embeddings de 300. • Evaluar cada 100.
• Tamaño de filtro de 3,4 y 5. • Unidades ocultas de 300.
• L2 regularization lambda de 0.0 • Max pooling (discretización) de 4. • Número épocas de 10.
• Número de filtros: 300 .
Al finalizar las pruebas preliminares, se logró superar por poco a los anteriores algoritmos, sin embargo no se lograba aún compararse al estado del arte. Luego se aplicóData Augmentation[27], adaptado al procesamiento de lenguaje natural. Para esto se crearon nuevas entradas al clasificador basadas en POS y n-grams a todas las clases, con ello se trata de evitar la alta varianza de las clases (NEU y NON), neutros y sin clasificación. Al agregar esta técnica se logró llegar a un resultado muy cercano a las mejores investigaciones, cabe resaltar que esta técnica solo fue aplicada al conjunto de datos del TASS [56] por su alta varianza de clases. En los conjuntos de datos de estudio, no fue necesario por los buenos resultados obtenidos.
Corpus Exactitud recall F1 InterTASS 2017 60,09 55,17 48,20
Tabla 6.18: Resultados con CNN-RNN en datos Benchmark
En la Tabla 6.18 se representan los resultados de aplicar el clasificador en los conjuntos de datos Benchmark (Tablas 6.1 y 6.3).
En la Tabla 6.19 se representan los resultados de aplicar el clasificador en los conjuntos de datos de casos de estudio (Tablas 6.5 y 6.7).
6.3. COMPARACIONES 61
Corpus Exactitud recall F1 GooglePlay 94,73 93,33 90,32
Facebook 84,21 83,33 80,0
Tabla 6.19: Resultados con CNN-RNN en casos de estudio
6.3
Comparaciones
El mejor desempeño en la tarea de clasificación, se obtuvo con el algoritmo final, es decir con el clasificador que combina CNN y una RNN en la clasificación. Para hacer la comparación se usó los resultados del TASS 2017.
Grupo Macro-P Macro-R Macro-F1 Exactitud ELiRF-UPV 0.507 0.471 0.489 0.612 UNSA-UCSP-DaJo 0.472 0.496 0.482 0.609 jacerong 0.479 0.440 0.459 0.608 ELiRF-UPV 0.497 0.490 0.493 0.607 RETUYT 0.490 0.453 0.471 0.596 tecnolengua 0.455 0.427 0.441 0.595 ITAINNOVA 0.450 0.423 0.436 0.576 SINAI 0.464 0.423 0.442 0.575 GSI 0.376 0.400 0.387 0.562 LexFAR 0.433 0.431 0.432 0.541 INGEOTEC 0.410 0.397 0.403 0.515 OEG 0.383 0.370 0.377 0.505
Tabla 6.20: Comparación InterTASS 2017
En la Tabla 6.20 se muestra la comparativa con el TASS 2017, cuyos datos ya fueron publicados y comprobados por el Workshop. Como se puede ver los resultados obtenidos son comparables con el estado del arte.
En la Tabla 6.21 se muestran los resultados de usar Deep Learning en la tarea de clasificación de sentimientos, como se puede ver los resultados están por debajo de los mejores resultados obtenidos con datos del TASS 2015, 2016 y 2017.
6.4. CONSIDERACIONES FINALES 62
Trabajos conDeep Learning Exac. (Mejor) RNN (Vilares et al [90],TASS 2015) 0.60 (0.69) CNN (Segura-Bedmar et al [80],TASS 2016) 0.64 (0.72) CNN + SVM (Rosa et al [76], TASS 2017) 0.596 (0.609) RNN +TFIDF(Garcia-Vega et al [69], TASS 2017) 0.44 (0.609)
LSTM + Lexicon (Araque et al [65], TASS 2017) 0.562 (0.609) CNN+LSTM (Hurtado et al [52], TASS 2017) 0.436 (0.609)
Tabla 6.21: Trabajos conDeep Learning
6.4
Consideraciones finales
En los conjuntos de datos de casos de estudio se usaron 2 polaridades (positivo y negativo) para el conjunto de Google Play (Tabla 6.5) y 3 polaridades para el conjunto de datos de Facebook y foros (Tabla 6.7) encontrando el mejor desempeño en el clasificador de CNN-RNN.
Sobre los conjuntos de datosbenchmark, el principal conjunto de comparación y estudio, es el conjunto del interTASS (Tabla 6.1), donde se encontraron alentadores resultados en la clasificación de textos cortos en español.
Finalmente, en este capítulo se ha presentado la evaluación de los clasificadores en los distintos conjuntos de datos empleados, detalles de implementación y finalmente los resultados que se alcanzan con la propuesta.
Capítulo 7
Conclusiones y Trabajos Futuros
Las principales conclusiones a las que se ha llegado en este trabajo son:
• En este trabajo se ha evaluado la clasificación de sentimientos de textos cortos en español, dando énfasis en el uso de clasificadores probabilísticos y de Deep Learning. Logrando encontrar un clasificador que brinda resultados promete- dores en esta tarea.
• El clasificador basado en Conditional Random Fields CRF, mostró ser efici- ente cuando tenemos pocos datos de entrenamiento y las etiquetas a clasificar son pocas. En los datos de casos de estudio CRF, mostró un desempeño con- siderablemente bueno. Por lo que el contexto ideal para usar este clasificador seria en casos donde no tenemos muchos datos y las etiquetas a clasificar son menores a 3.
• El clasificador que hace uso de Deep Learning dio un resultado comparable al estado del arte, y es la única propuesta que mostró un desempeño alto comparándolo con enfoques similares.
• Se hizo uso de Word Representations en español, como característica la cla- sificación de textos cortos en español. Esta propuesta entrena sus propios vectores de palabras y hace uso de ellos como característica principal. Los
7.1. LIMITACIONES 64 experimentos muestran resultados prometedores en la clasificación de sentimi- entos comparados con investigaciones similares[56].
• Data Augmentation Añadido al clasificador, muestra un aumento significativo de exactitud, esto aplicado a corpus con alta varianza , es decir con muy alta desproporción de clases.
• El clasificador que hace uso deDeep Learning combinando CNN y RNN mos- tró el mejor desempeño en comparación con otras propuestas, tomando como conjuntos de datos para comparar el Dataset del TASS 2017 (Tabla 6.18). Este clasificador también obtiene resultados óptimos para los datos de casos de estudio.
7.1
Limitaciones
En este trabajo se busca clasificar textos en español cortos, una de las limitantes a este trabajo fue que no existen muchos datosBenchmark en los cuales experimentar y comparar, por ello se propusieron conjuntos de datos adicionales para poder hacer pruebas y comparaciones. El presente trabajo solo se enfoca a la clasificación de sentimientos, dejando de lado la detección de aspectos por polaridad.
7.2
Trabajos Futuros
En el futuro, se espera poder experimentar en un mayor numero de conjuntos de datos y hace poder construir un mejor clasificador que pueda incluso ser independi- ente de idioma.
En este trabajo solo se hace la clasificación de sentimientos, queda como trabajo futuro la detección de características que influyen mucho en el sentimiento que se le asigna a un texto.
Referencias
[1] Part-of-speech tagging. Oxford Handbooks Online (2012).
[2] Appendix 1: Information retrieval, nlp and automatic text summarization. Au- tomatic Text Summarization (2014).
[3] Pattern recognition and signal analysis in medical imaging. Pattern Recognition and Signal Analysis in Medical Imaging (2014).
[4] 5th International Conference on Information Management, e Data, B. Simbig 2018.
[5] Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, G. S., Davis, A., Dean, J., Devin, M., Ghemawat, S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mané, D., Monga, R., Mo- ore, S., Murray, D., Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viégas, F., Vinyals, O., Warden, P., Wattenberg, M., Wicke, M., Yu, Y., e Zheng, X. TensorFlow: Large-scale machine learning on hete- rogeneous systems, 2015. Software available from tensorflow.org.
[6] Aiala Rosá, Luis Chiruzzo, M. E. S. C. Retuyt en tass 2017: Análisis de sentimiento de tweets en español utilizando svm y cnn. TASS 2017 (2017). [7] Antonio Moreno-Ortiz, C. P. H. Tecnolengua lingmotif at tass 2017:
Spanish twitter dataset classification combining wide-coverage lexical resources and text features. TASS 2017 (2017).
REFERENCIAS 66 [8] Bader-W., B., e Chew, K.-P. Multilingual sentiment analysis using la- tent semantic indexing and machine learning. 2011 IEEE 11th International Conference on Data Mining Workshops (2011).
[9] Borda, I. M., e Saladich, J. C. Bittenpotato: Tweet sentiment analysis by combining multiple classifiers. TASS 2015, septiembre 2015, pp 71-74 (2015). [10] Bouma, G. Normalized (pointwise) mutual information in collocation extrac-
tion. Department Linguistik, Universit¨at Potsdam (2009).
[11] Brendan O’Connor, Michel Krieger, D. A.Tweetmotif: Exploratory se- arch and topic summarization for twitter. http://tweetmotif.com/about (2010). [12] Cifuentes, J. F. S. Introducción a la teoria de probabilidad. Universidad
Nacional de Colombia, sede Manizales.
[13] Computer), S. M. H. H. P. Centro de alto rendimiento computacional de la amazonía peruana.
[14] DanB. Cross-validation.
[15] Deshpande, A. Perform sentiment analysis with lstms, using tensorflow.
oreilly (2017).
[16] Dieter Jaeger, R. J. Artificial vision. Encyclopedia of Computational Neu-
roscience (2015).
[17] Duyu Tang, Furu Wei, B. Q. N. Y. T. L.-M. Z. Ieee transactions on knowledge and data engineering. Journal of Machine Learning Research(2015). [18] Duyu Tang, Furu Wei, N. Y. M. Z. T. L.-B. Q. Learning sentiment-
specific word embedding for twitter sentiment classification.
[19] Erik F, T. K. S. Introduction to the conll-2002 shared task: Language- independent named entity recognition. Proceedings of the sixth conference on Natural Language Learning, Taipei (2002).
[20] Fersini, E. Sentiment analysis in social networks. Sentiment Analysis in
REFERENCIAS 67 [21] Fersini, E. Sentiment analysis in social networks. Sentiment Analysis in
Social Networks (2017).
[22] Foundation, P. S. Python language reference. version 2.7. [23] Foundation, P. S. Python language reference. version 3.5.
[24] Garrigós, H. Lematización y análisis lingüístico mediante técnicas de inteli-
gencia artificial. Universidad de Murcia, Servicio de Publicaciones, 2002. [25] Gauthier, J. Spanish faq for stanford corenlp, parser, pos tagger, and ner.
https://nlp.stanford.edu/software/spanish-faq.shtml (2015).
[26] Grave, E., Bojanowski, P., Gupta, P., Joulin, A., e Mikolov, T. crawl-vectors.
[27] Gudivada, J. D.-X. L.-V. Augmentation and evaluation of training data for deep learning. IEEE International Conference on Big Data (Big Data)(2017). [28] Guo, J., C. W.-W. H., e Liu, T. Revisiting embedding features for simple semi-supervised learning. In Proceedings of the 2014 Conference on Empiri- cal Methods in Natural Language Processing (EMNLP), pages 110–120, Doha, Qatar. Association for Computational Linguistics (2014).
[29] Hand, D. J., Y.-K. Idiot’s bayes—not so stupid after all? International
statistical review (2001).
[30] Haykin, S. Neural Networks and Learning Machines, 3 ed. Pearson Education, Inc., 2009.
[31] Hebb, D. O. The organization of behavior: A neuropsychological theory.
Psychology Press (2005).
[32] Hinton, G. D.-T. S.-G. Select improving deep neural networks for lvcsr using rectified linear units and dropout. IEEE International Conference on Acoustics, Speech and Signal Processing (2013).
REFERENCIAS 68 [33] Hirst, G. Neural Network Methods in Natural Language Processing (Synthe-
sis Lectures on Human Language Technologies). Morgan&Claypool publishers, 2017.
[34] https://code.google.com/archive/p/word2vec/. word2vec.
[35] (https://stats.stackexchange.com/users/204007/john doe), J. D. Kernel sizes for multiple convolutional layer neural networks. Cross Valida- ted. URL:https://stats.stackexchange.com/q/340285 (version: 2018-04-13). [36] https://textblob.readthedocs.io/en/dev/. Textblob: Simplified text
processing.
[37] https://www.lexalytics.com/technology/sentiment. lexalytics. [38] http://www.sepln.org/workshops/tass/2017/. sociedad española para
el procesamiento de lenguaje natural.
[39] (http://www.wildml.com, D. B. Understanding convolutional neural networks for nlp.
[40] Ian Goodfellow, Y. B., e Courville, A. Deep learning.
[41] Ii, T. Deep learning and other example problems. Introduction to Deep Lear-
ning Using R (2017).
[42] Jeffrey Pennington, Richard Socher, C. D. M. Glove: Global vectors for word representation.
[43] Jenny Copara, Jose Ochoa, C. T. G. G. Conditional random fields for spanish named entity recognition using unsupervised features. Iberania2016
(2016).
[44] Junhua Ding, XinChuan Li, V. N. G. Augmentation and evaluation of training data for deep learning. Department Linguistik, Universit¨at Potsdam
(2017).
REFERENCIAS 69 [46] Ketkar, N. Training deep learning models. Deep Learning with Python
(2017).
[47] Kim, P. Convolutional neural network. MATLAB Deep Learning (2017). [48] Koller, D., e Friedman, N. Probabilistic Graphical Models: Principles and
Techniques. MIT Press, 2009.
[49] Lev Ratinov, D. R. Design challenges and misconceptions in named entity recognition. Proceeding CoNLL ’09 Proceedings of the Thirteenth Conference on Computational Natural Language Learning Pages 147-155 (2009).
[50] Levy, Omer; Goldberg, Y. Linguistic regularities in sparse and explicit word representations. CoNLL. pp. 171–180 (2014).
[51] Llu´ıs-F. Hurtado, Ferran Pla, D. B. Elirf-upv en tass 2015: An´alisis de sentimientos en twitter. TASS 2015 (2015).
[52] Lluís-F. Hurtado, Ferran Pla, J.- G. Elirf-upv en tass 2017: Análisis de sentimientos en twitter basado en aprendizaje profundo. TASS 2017 (2017). [53] Manaswi, N. Rnn and lstm. Deep Learning with Applications Using Python
(2018).
[54] Manning, C. D., e Schutze, H. Foundations of statistical natural language processing. MIT Press, Cambridge, MA, USA.(1999).
[55] Maria Pontiki, Dimitrios Galanis, H. P.-S. M. I. A. Semeval-2015 task 12: Aspect based sentiment analysis. SemEval (2015).
[56] Marlies Santos Deas, Or Biran, K. M. S. R. Spanish twitter messages polarized through the lens of an english system.
[57] Martinez, A. Natural language processing. Wiley Interdisciplinary Reviews:
Computational Statistics (2010).
[58] Martinez-Camara, E., M.-V. M. M. M. P.-O.-J. Integrating spanish le- xical resources by meta-classifiers for polarity classification. J. Inf. Sci (2014).
REFERENCIAS 70 [59] María del Pilar Salas-Zárate, José Medina-Moreira, P. J. -S. K. L.-O. M. A. P.-V., e Valencia-García1, R. Sentiment analysis and trend detection in twitter. 2do Congreso Internacional de Tecnología e Innovación CITI 2016 (2016).
[60] Mikolov, T., C. K.-C. G., e Dean, J. Efficient estimation of word repre- sentations in vector space. CoRR, abs/1301.3781 (2013).
[61] Mikolov, T., Grave, E., Bojanowski, P., Puhrsch, C., e Joulin, A. Advances in pre-training distributed word representations. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018) (2018).
[62] Moreno-Ortiz. Lingmotif: Sentiment analysis for the digital humanities. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (2017).
[63] Neubig, G. Neural machine translation and sequence-to-sequence models: A tutorial. Language Technologies Institute, Carnegie Mellon University (2017). [64] Okazaki, N. Crfsuite: a fast implementation of conditional random fields
(crfs), 2007.
[65] Oscar Araque, Ignacio Corcuera, C. R. C. A. I. y. J. F. S.-R. Aspect based sentiment analysis of spanish tweets. TASS 2015 (2015).
[66] Oscar S. Siordia, Daniela Moctezuna, M. G. S. M.-J. E. S. T.-E.- A. V. Sentiment analysis for twitter: Tass 2015. TASS 2015 (2015).
[67] Padró, L., e Stanilovsky, E. Freeling 3.0: Towards wider multilingua- lity. Proceedings of the Language Resources and Evaluation Conference (LREC 2012) ELRA. (2012).
[68] Pang, B., e Lee, L. Opinion mining and sentiment analysis. Foundations
REFERENCIAS 71 [69] Paredes Valverde, M.A., C. P. R. S. Z. M.-V. G. R. Sentiment analysis in spanish for improvement of products and services. A deep learning approach. Scientific Programming 6 (2017).
[70] Paskin, M. Introduction to probability theory. A Short Course on Graphical
Models.
[71] Pedregosa, F., G. V. A. G. V. M. B. T. O. G. M. B.-P. P. R. W.-V. D. J. V. A. P. D. C. M. B. M. P., e Duchesnay., E. Scikit-learn: Ma- chine learning in python.Journal of Machine Learning Research, 12:2825–2830.
(2011).
[72] Psycholinguistics), C. C. L. . https://www.clips.uantwerpen.be/. Com-
putational Linguistics Psycholinguistics (2017).
[73] Reese, R. Natural language processing with java. Community Experience
Distilled. Packt Publishing. (2015).
[74] reviews from www.muchocine.net, A. Corpus cine (spanish cinema). [75] Rosa María Montañés Salas, Rafael del-Hoyo Alonso, J. V.-M. M.
R. A. G. F. J. L.-P. Bag of tricks for efficient text classification. TASS 2017 (2017).
[76] Rosa María Montañés Salas, Rafael del-Hoyo Alonso, J. V.-M. M. R. A. G. F. J. L.-P. Fasttext como alternativa a la utilización de deep learning en corpus pequeños. TASS 2017 (2017).
[77] Rosset, D. N.-M. E.-S. Evaluating named entity recognition.Named Entities
for Computational Linguistics (2016).
[78] Sang, E. F. T. K., e Meulder, F. D. Introduction to the conll-2003 shared task: Language-independent named entity recognition. Proceeding CONLL 03 Proceedings of the seventh conference on Natural language learning at HLT- NAACL 2003 - Volume 4 (2003).
REFERENCIAS 72 [80] Segura-Bedmar, I., Q. A. M.-P. Exploring convolutional neural networks for sentiment analysis of spanish tweets. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Vo- lume 1, Long Papers. pp. 1014–1022. Association for Computational Linguistics
(2017).
[81] Shapiro, M. A.-A. R.-E. L-cnn: Exploiting labeling latency in a cnn lear- ning framework. 23rd International Conference on Pattern Recognition (ICPR)
(2016).
[82] Socher, Richard; Perelygin, A. W. J. C. J. M. C. N. A. P. C. Recursive deep models for semantic compositionality over a sentiment treebank. EMNLP
(2013).
[83] Socher, Richard; Bauer, J. M. C. N. A. Parsing with compositional vector grammars. Proc. ACL Conf.(2013).
[84] Sutton, C., e McCallum, A. An introduction to conditional random fields.
Foundations and Trends in Machine Learning (2011).
[85] Tenne, Y. Machine–learning in optimization of expensive black–box functions.
International Journal of Applied Mathematics and Computer Science. (2017), 105.
[86] the 16th Ibero-American Conference on Artificial Intelligence. Iberamia-2018.
[87] Theodoridis, S. Probabilistic graphical models. Machine Learning (2015). [88] Triola, M. F. Bayes’ theorem. UW Faculty Web Server.
[89] Turney, P. D. Thumbs up or thumbs down? semantic orientation applied to unsupervised classification of reviews. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), Philadelphia (2002). [90] Vilares, D., D.-Y. A. M. G.-R. C. Lys at tass 2015: Deep learning expe-
riments for sentiment analysis on spanish tweets. Proceedings of TASS 2015: Workshop on Sentiment Analysis at SEPLN. (2015).
REFERENCIAS 73 [91] Wikipedia, e. https://dumps.wikimedia.org/eswiki/latest/. Wikipedia
(2017).
[92] Ying Zhang, S. V. S. machine translation. https://doi.org/10.1007/s10590-
010-9073-6 (2010).
[93] Zong, H. Y.-C.Multi-predicate semantic role labeling.Proceedings of the 2014
Conference on Empirical Methods in Natural Language Processing (EMNLP)