Hypotheses Development
5.2. Quantitative Analysis Results
La verificaci´on de la base de conocimientos es plena responsabilidad del ingeniero del conocimiento. Se basa en el concepto de anomal´ıa. Una anomal´ıa es un uso poco com´un del esquema de representaci´on del conocimiento, que puede ser considerado como un error potencial (existen anomal´ıas que no constituyen errores, y viceversa).
La verificaci´on de la base de conocimientos no nos asegura que las respuestas de nuestro sistema sean correctas, lo que nos asegura es que el sistema ha sido dise˜nado e implementado de forma correcta. La mayor´ıa de los estudios sobre este tema se refieren a los sistemas basados en reglas, ya que son los m´as populares.
Aspectos que se suelen examinar a la hora de verificar una base de conocimientos son la consistencia y la completitud (ver tabla 12.1, p´agina 140).
Influencia de las medidas de incertidumbre
Las reglas para verificar la consistencia y completitud que aparecen en la tabla 12.1 mencionada son v´alidas siempre y cuando los sistemas no incluyan incertidumbre. En caso de que s´ı exista dicha incertidumbre la validez de las pruebas queda en entredicho, ya que, como veremos, situaciones normales pueden ser tomadas como errores.
En sistemas que pretenden medir incertidumbres o grados de asociaci´on (utilizando factores de certidumbre, probabilidades bayesianas o cualquier otro m´etodo) es impor- tante verificar que estos valores son consistentes, completos, correctos y no redudantes. Esta tarea se realiza, en primer lugar, asegur´andonos que cada regla incluye un factor de incertidumbre y que estos factores cumplen los aspectos de la teor´ıa en la que se basan.
La b´usqueda de anomal´ıas en las medidas de incertidumbre de un SI es un proceso que no ha recibido mucha atenci´on por parte de los investigadores, quiz´a debido al limitado n´umero de SE que hacen uso extensivo de dichas medidas. El modo en que el uso de dichas medidas de incertidumbre puede afectar a la realizaci´on de los tests de consistencia y completitud puede verse en los siguientes ejemplos:
Redundancia: si antes no afectaba a la salida del sistema, ahora puede
Consistencia Reglas redundantes p(x)∧q(x)→r(x) q(x)∧p(x)→r(x)
(aunque ojo, esto no tiene por qu´e ser redundante; ejemplo, un sistema que trabaje con informaci´on temporal)
Reglas conflictivas p(x)∧q(x)→r(x)
p(x)∧q(x)→ ¬r(x)
Reglas englobadas en otras p(x)∧q(x)→r(x) p(x)→r(x)
(la primera es m´as concreta)
Reglas circulares p(x)→q(x)
q(x)→r(x) r(x)→p(x)
Condiciones IF innecesarias p(x)∧q(x)→r(x) p(x)∧ 6q(x)→r(x)
Completitud Valores no referenciados de atributos Ocurre cuando algunos valores del con- junto de posibles valores de un atributo no son cubiertos por la premisa de nin- guna otra regla.
Valores ilegales de atributos Una regla referencia valores de atribu- tos que no est´an incluidos en el conjunto de valores v´alidos para ese atributo.
Reglas inalcanzables p(x)→r(x)
p(x) no aparece como conclusi´on de otra regla ni puede obtenerse del exte- rior (razonamiento progresivo)
Reglas sin salida p(x)∧q(x)→r(x)
r(x) no es una conclusi´on final y no aparece en la premisa de ninguna otra regla (razonamiento proogresivo)
12.1. VERIFICACI ´ON DE SISTEMAS INTELIGENTES 141 se pueden modificar los pesos de las conclusiones.
Reglas englobadas en otras: esta situaci´on puede no ser err´onea ya que
las dos reglas pueden indicar la misma conclusi´on pero con distintas con- fianzas. La regla englobada ser´ıa un refinamiento de la regla m´as general para el caso de que tengamos m´as informaci´on.
Reglas circulares: pueden existir casos en los que la utilizaci´on de medidas
de incertidumbre rompan la circularidad de un conjunto de reglas. Por ejemplo, si el factor de certidumbre de una conclusi´on implicada en el ciclo cae por debajo de un umbral (normalmente entre −0,2 y 0,2) se considera que el valor de la conclusi´on es “desconocido” y el ciclo se rompe.
Condiciones IF innecesarias: igual que en el caso de las reglas englobadas
en otras, una condici´on IF innecesaria puede utilizarse para variar la confianza en la conclusi´on final.
Reglas inalcanzables: es un caso muy frecuente, que de forma similar al
caso de las reglas sin salida, puede ocurrir que existan reglas que por causa de los factores de certidumbre se conviertan en inalcanzables.
Reglas sin salida: la detecci´on de este tipo de reglas se complica con la
introducci´on de la incertidumbre. As´ı, una regla puede convertirse en una regla sin salida si su conclusi´on tiene una certidumbre por debajo del umbral en el cual un valor se considera “conocido”.
Verificaci´on dependiente o independiente del dominio
La verificaci´on de un SI puede enfocarse desde dos puntos de vista diferentes: veri- ficaci´on dependiente del dominio y verificaci´on independiente del dominio. La primera se basa en la detecci´on de las anomal´ıas a trav´es de t´ecnicas heur´ısticas mediante las cuales se analiza la base de conocimientos pero sin tener en consideraci´on el dominio de aplicaci´on. Por el contrario, la segunda utiliza metaconocimiento del propio universo de discurso para examinar la bases de conocimiento implementadas4. El inconveniente
de este procedimiento es que el metaconocimiento, al no ser m´as que conocimiento so- bre conocimiento, tambi´en debe ser verificado. Adem´as, puede no ser estable, si existe aportaci´on continua de nuevo conocimiento, y por ´ultimo, el desarrollo de una aplicaci´on que permita realizar verificaciones dependientes del dominio suele ser una tarea lenta y costosa, en parte por el hecho de tener que adquirir el metaconocimiento necesario y en parte por tener que mantenerlo.
Automatizaci´on de los mecanismos de verificaci´on
De las distintas fases que componen el an´alisis del comportamiento de un sistema inteligente, la fase de verificaci´on es en la que se ha conseguido un mayor grado de auto- matizaci´on mediante distintos tipos de herramientas. Dentro de estas herramientas de
4Un ejemplo de este tipo de verificaci´on es el sistema TEIRESIAS, que supervisa la introducci´on de
verificaci´on podemos establecer dos grupos: las dependientes del dominio (que hacen uso del metaconocimiento) y las independientes del dominio (que se basan princi- palmente en convertir la base de conocimientos en una representaci´on independiente, mediante tablas o grafos, a partir de la que se buscan las posibles anomal´ıas).