1.4 Empirical Strategy and Estimation Results
1.4.2 A Difference-in-Differences Framework
discuten alternativas de cómo tratar el problema,
caminos no tomados ya sea por restricciones o por su
no necesidad en el actual proyecto.
5.1 Conclusiones
5.1.1 Contribuciones
La presente tesis propuso un mecanismo de traducción de lenguaje natural hacia mensajes con la estructura delAgent Communication Language
. Este enfoque permite proveer
los medios para la interacción entre agentes que usan ACL y usuarios reales. El diseño de la solución permite tanto utilizar el enfoque de traducción en proyectos nuevos, como agregar dicha funcionalidad a sistemas multiagente existentes.
Para realizar esto, se requiere un análisis sobre la conformación de los agentes, su comportamiento y los lenguajes de comunicación. En particular se debe tener en cuenta la naturaleza y forma de realización de los comportamientos, ya que encarna el comportamiento de traducción.
Con el objetivo de traducir las frases en lenguaje natural ingresadas por los usuarios humanos, se utilizaron tanto clasificadores Naive-Bayes sobre undataset en lenguaje natural
como expresiones regulares. Se debe recordar que el clasificador puede ser reconfigurado o reemplazado si es requerido para otros protocolos. La traducción se basa en la obtención de la performativa y su contenido, de ser esta última requerida. Por ejemplo, en el caso de una propuesta, se debe determinar no solo que se está proponiendo, sino también, en nuestro caso, la película particular.
La implementación fue realizada mediante la separación de los elementos del core y del caso de estudio. El primero es una especialización de JADE que provee agentes y comportamientos de traducción, particularmente el traductor encargado de generar un mensaje ACL y una jerarquía de interfaces de parsers acorde a los diferentes componentes que pueden formar parte de un mensaje ACL puntual. En el caso de estudio se implementó una negociación particular con un protocolo de concesión monótona definiendo a uno de los agentes involucrados en base a las habilidades de interacción en tiempo real con un usuario humano provistas porTranslACL
. Las traducciones específicas para cada estado del protocolo del caso de
estudio se realizaron mediante la clasificación y aplicación de expresiones regulares.
Teniendo en cuenta las posibilidades de su uso futuro es que se encuentra la motivación en la construcción de una infraestructura genérica que simplifique la instanciación de diferentes protocolos y ontologías particulares. Basados en esta infraestructura es donde se realizan interacciones entre elementos que dialogan utilizando lenguaje natural yACL
, la cual no es una
tarea nimia a diferencia de la traducción inversa.
A su vez, los resultados del capítulo anterior muestran porcentajes altos de precisión en la clasificación y se constatan con las pruebas realizadas. Más aún al observarse el flujo planteado como experimento y sus resultados.
5.1.2 Limitaciones
Algunas limitaciones encontradas se hallan en la creación de las clases y elementos pertinentes a los casos de trabajo, lo cual se podría abordar como un posible trabajo futuro o mejora. Esto se podría plantear a modo de “instanciador” que genere clases de forma automática teniendo en cuenta la ontología y el protocolo.
En las conversaciones planteadas para el protocolo de concesión monótona se requiere que el usuario humano calcule manualmente su valor de Zeuthen. Esta tarea puede resultar engorrosa dada la naturaleza de la fórmula, por lo que se podría plantear un enfoque híbrido en donde algunas de las funciones de decisión para ciertos estados del protocolo, como el cálculo del Zeuthen, sean calculadas automáticamente dentro de los propios comportamientos del agente, mientras que el usuario humano aún debería participar mediante el uso de lenguaje natural para las decisiones restantes.
Por otra parte, en la implementación inicial de los parsers se utilizaron Stemmers
y
N-grams dentro del proceso de clasificación pero estos aumentaron el porcentaje de error obtenido. De todas maneras, si se realizara un trabajo exhaustivo sobre el dataset de entrenamiento de los clasificadores hacer una aproximación de reducción de las palabras para usar solo sus lemas debería no sólo reducir el espacio probabilístico al asociar varias palabras a la misma raíz común, sino aumentar el peso de cada uno de estos lemas, obteniendo un valor más representativo para la clasificación del lenguaje natural. Aplicando un pre procesamiento al conjunto de entrada de la clasificación se podrían sanear casos usuales en el uso del lenguaje como puede ser la palabra “laaaaaargo” en donde se entiende que el usuario hace una distorsión de la palabra “largo”, pero un clasificador los reconoce como dos entradas diferentes.
A su vez, el uso de la distinción entre mayúsculas y minúsculas, que en nuestro caso no otorgó mejoras y se optó por no aplicarlo, podría servir para realizar una clasificación de sentimientos donde escribir “FELIZ” no es lo mismo que escribir “feliz”. También el uso de algunos caracteres especiales, como por ejemplo la frase “Que bueno” y “Que bueno …” quedaron excluidos del ámbito de la presente tesis, ya que dentro de nuestro caso de estudio la diferencia semántica que podría transmitir el interlocutor al utilizar o no los puntos suspensivos, como podría ser la ironía, no aportan valor.
También es interesante remarcar el análisis realizado en la búsqueda de un clasificador, donde se tuvieron en cuenta otros como Supervised Latent Dirichlet Allocation (SLDA),Support Vector Machine (SVM) y Multinominal Logistic Regression (maximum entropy). Al comparar teóricamente con Naive-Bayes resultó más atractivo considerando un correcto preproceso sobre el dataset y teniendo en cuenta la competitividad, robustez, escalabilidad y los previos conocimientos del mismo. Cabe destacar que la naturaleza de la tesis no es la comparación de múltiples clasificadores sino comprobar que una traducción de lenguaje natural hacia ACL es factible.
5.1.3 Trabajos futuros
Como posibles futuros desarrollos se podría modificar la clasificación de películas realizando reconocimiento de entidades, teniendo estas películas definidas como tales y poseyendo atributos que definen a las mismas. A su vez, para este mismo caso también se puede realizar clasificación utilizando los distintos atributos de estas entidades, como título, autor, actores, sinopsis, etc, y, utilizando funciones de distancia como el coseno, clasificar basándonos en la cercanía hacia cada una de estos.
Otra de las posibles mejoras futuras sería un mejor trabajo sobre el dataset, pero no se lo cree punto central para demostrar la utilidad de la clasificación y más aún, se debe tener en cuenta que el dataset usado está compuesto por un número reducido de entradas y carentes de preproceso. Sumado a esto está el concepto de darle diversificación al mismo.
Finalmente un último tema sería el trabajo sobre otra herramienta para realizar data mining
en vez de Weka, como por ejemplo Mallet.
Referencias
[Aref, 2003] M. M. Aref. A multi-agent system for natural language understanding
. 2003.
[Bayes, 1763] T. Bayes. An essay towards solving a Problem in the Doctrine of Chances
. 1763.
[Bellifemine et al, 2007] F. Bellifemine, G. Caire, D. Greenwood, J. Wiley & Sons.
Developing Multi-Agent Systems with JADE
. 2007.
[Draskovic et al, 2016] D. Draskovic, V. Gencel, S. Zitnik, M. Bajec, B. Nikolic. A software agent for social networks using natural language processing techniques
. 2016.
[Endriss, 2006] U. Endriss. Monotonic Concession Protocols for Multilateral Negotiation
. 2006.
[Ferber, 1999] J. Ferber. Multi-Agent Systems: an Introduction to Distributed Artificial Intelligence
. 1999.
[FIPA, 2001] FIPA. FIPA English Auction Interaction Protocol Specification
. 2001.
[FIPA, 2002] FIPA. FIPA Request Interaction Protocol Specification
. 2002.
[Hellman, 1978] M. Hellman. An overview of public key cryptography
. 1978.
[Kleene, 1956] S. C. Kleene. Sets, logic, and mathematical foundations Paperback
. 1956.
[March, 2004] O. March. Natural language as an agent communication language
. 2004.
[Pollack, 1997] M. E. Pollack. Computers and Thought Lecture
. 1997.
[Poole et al, 1998] D. Poole, A. Mackworth, R. Goebel. Computational Intelligence: A Logical Approach
. 1998.
[Rish, 2001] I. Rish. An empirical study of the naive bayes classifier
. 2001.
[Russel & Norvig, 1994] S. J. Russell, P. Norvig. Artificial Intelligence: A Modern Approach
. 1994.
[Wooldridge & Jennings, 1995] M. J. Wooldridge, N. Jennings. Intelligent Agents: Theory and Practice. Knowledge Engineering Review
. 1995.
[Wooldridge, 2009] M. J. Wooldridge. An Introduction to MultiAgent Systems
. 2009.
[Zeuthen, 1930] F. L. B. Zeuthen. Problems of Monopoly and Economic Warfare
. 1930.