Las series 1 MPs mostraron un comportamiento no aleatorio dentro del rango de 82-100%. Las pruebas por lotes de Friedman, e Iman y Davenport detectaron diferencias significativas entre las mismas sobre los conjunto de datos MUV y la post hoc prueba de Holm clasificó el coeficiente de Pearson como la mejor medida seguida por las medidas de Tanimoto, Dice, Kulczynski, Coseno, Sokal-Sneath, Bray-Curtis, y Simpson mostrando en este orden una diferencia no significativa con
respecto al control (ver Tabla2-4). También se comprobó que este ordenamiento es
significativamente diferente a cualquiera de los experimentos de recuperación del 5 o 10% de activos reportados por (Khalifa y coautores, 2009) usando otros repositorios. Aunque las condiciones experimentales son resultados diferentes podrían también indicar que el desempeño relativo de las medidas es dependiente del problema en cuestión.
Tabla 3-1. Resultados de comparaciones por lote y post hoc entre series 1 MPs en los conjuntos de datos MUV. MPa Rj b Zs c p(Npm – j) d Npm – j α/(Npm – j) e p112 4.0000000 - - - - p15 4.3235294 0.2616083 0.7936234 1 0.0500000 p16 4.3235294 0.2616083 0.7936234 2 0.0250000 p19 4.3235294 0.2616083 0.7936234 3 0.0166667 p110 4.6764706 0.5469992 0.5843793 4 0.0125000 p18 4.7647059 0.6183469 0.5363467 5 0.0100000 p14 6.2352941 1.8074757 0.0706881 6 0.0083333 p111 6.4705882 1.9977363 0.0457453 7 0.0071429 p17 9.4117647 4.3759937 1.209E-05* 8 0.0062500 p11 9.5294118 4.4711240 7.781E-06 * 9 0.0055556 p13 9.9411765 4.8040801 1.555E-06 * 10 0.0050000
61 p12 10.000000 4.8516452 1.224E-06
*
11 0.0045455 a
Estadístico de Friedman (distribuida de acuerdo al chi –cuadrado con 11 grados de libertad ): 89.7285068, p- valor calculado por la prueba Friedman: 1.884E-14;estadístico de Iman y Davenport (distribuida de acuerdo a la F-distribución con 11 y176 grados de libertad ): 14.7592688, p-valor calculado por la prueba Iman y Daveport: 5.023E-20. MPs en orden decreciente de desempeño con respecto a la mejor medida p112. Las MPs retenidas después de múltiples comparaciones por pares que se mostraron en cursiva y negrita. b Pruebas de Friedman clasificación promedio. c se asume que tiene una distribución normal estándar. dLa probabilidad de dos colas asociada con Zs;
*
diferencias significativas. e
Valores de probabilidad calculada de acuerdo a el método de Holm.
De manera similar a los resultados previos, las series 2 de MPs mostraron un comportamiento no aleatorio dentro del rango 82 -96%. Sin embargo esta vez las pruebas por lote hechas no detectaron diferencias significativas entre MPs (resultados no presentados). Aunque las clasificaciones de las pruebas de Friedman no son relevantes estadísticamente, se comparó la ordenación relativa de MPs con la ordenación que se obtuvo por Varin y coautores (2009) usando 4 conjuntos de datos diferentes, con la esperanza de encontrar alguna concordancia, pero por razones similares a la anterior, este intento también fue inútil.
Las MPs TG excedieron nuestras expectativas ya que mostraron una representación no aleatoria dentro del rango 86-100%. Esta vez las prueba por lote detectaron diferencias significativas entre las MPs. El procedimiento post hoc de Holm clasificó el coeficiente de proporcionalidad corregido como la mejor medida seguida por los coeficientes de identidad y monotonía corregido y después la medida de monotonicidad no corregida. Es notorio que todas las medidas log-transformadas fueron rechazadas, indicando así que las log-transformadas no son necesarias (como tendencia mediana) para modelar las relaciones de similitud molecular latentes en los conjuntos de datos MUV (ver Tabla 3-2).
Tabla 3-2. Resultados de comparaciones por lote y post hoc entre series 3 de MPs en los conjuntos de datos MUV. MPa Rjb Zsc p(Npm – j)d Npm – j α/(Npm – j)e p35 2.5294118 - - - - p32 3.4705882 1.0019589 0.3163635 1 0.0500000 p312 3.5294118 1.0645813 0.2870654 2 0.0250000 p311 3.5882353 1.1272037 0.2596564 3 0.0166667 p33 3.6470588 1.1898262 0.2341147 4 0.0125000 p38 6.1470588 3.8512794 0.0001175 * 5 0.0100000 p310 6.5882353 4.3209476 1.554E-05 * 6 0.0083333 p37 7.2647059 5.0411055 4.629E-07 * 7 0.0071429
62 p39 8.2352941 6.0743756 1.245E-09
*
8 0.0062500 a
Estadístico de Friedman (distribuida de acuerdo al chi –cuadrado con 8grados de libertad ): 76.7568628, p- valor calculado por la prueba de Friedman: 2.193E-13;estadístico de Iman y Davenport (distribuida de acuerdo a la F-distribución con 8 y 128 grados de libertad): 20.7299927, p-valor calculado por la prueba Iman y Daveport: 7.129E-20. MPs en orden decreciente de comportamiento con respecto a la mejor medida p35. Las MPs retenidas después múltiples de comparaciones por pares son mostradas en cursiva y negrita. b Pruebas de Friedman clasificación promedio. c se asume que tiene una distribución normal estándar. dLa probabilidad dos colas asociada con Zs;
*
diferencias significativas. eValores de probabilidad calculada de acuerdo al método de Holm.
Las mejores medidas resultantes de la comparación entre series 1 MPs se compararon con todas las series 2 (ver Tabla 3-1). Como resultado, las prueba por lote detectaron diferencias significativas entre los conjuntos combinados de MPs, la post hoc prueba de Holm conservando todas las medidas de las series 1, que superaron radicalmente todas las medidas de series 2. Las medidas de series 1, resultaron ordenadas exactamente como en el primer experimento (vide supra) o sea el coeficiente de Pearson estuvo en el tope de la clasificación, seguida por las medidas de similitud Tanimoto, Dice, Kulczynski, Coseno, Sokal-Sneath, Bray-Curtis, y Simpson.
Tabla 3-3. Resultados de comparaciones por lote y post hoc entre las mejores medidas de series 1contra todas las serie 2 de MPs en los conjuntos de datos MUV.
TT Rjb Zsc p(Npm – j)d Npm – j α/(Npm – j)e p112 4.7058824 - - - - p15 4.8529412 0.0849045 0.9323374 1 0.0500000 p16 4.8529412 0.0849045 0.9323374 2 0.0250000 p19 4.8529412 0.0849045 0.9323374 3 0.0166667 p18 5.4117647 0.4075414 0.6836104 4 0.0125000 p110 5.4411765 0.4245223 0.6711850 5 0.0100000 p14 6.9411765 1.2905477 0.1968606 6 0.0083333 p111 8.1176471 1.9697833 0.0488632 7 0.0071429 p26 10.117647 3.1244838 0.0017812 * 8 0.0062500 p27 10.705882 3.4641016 0.0005320 * 9 0.0055556 p22 11.941176 4.1772990 2.950E-05 * 10 0.0050000 p28 12.323529 4.3980506 1.092E-05 * 11 0.0045455 p29 12.323529 4.3980506 1.092E-05 * 12 0.0041667 p24 12.411765 4.4489933 8.627E-06* 13 0.0038462 p23 12.529412 4.5169168 6.275E-06 * 14 0.0035714 p25 12.588235 4.5508786 5.342E-06 * 15 0.0033333 p21 12.882353 4.7206875 2.350E-06* 16 0.0031250
63 a
Estadístico de Friedman (distribuida de acuerdo al chi –cuadrado con 16 grados de libertad ): 125.0253749, p- valor calculado por la prueba de Friedman: 5.903E-19; estadístico de Iman y Davenport (distribuida de acuerdo a la F-distribución con 16 y 256 grados de libertad ): 13.6105535, p-valor calculado por la prueba Iman y Daveport: 3.880E-26. MPs en orden decreciente de comportamiento con respecto a la mejor medida p112. Las MPs retenidas después de múltiples comparaciones por pares por la prueba de Holm son mostradas en cursiva y negrita. b Pruebas de Friedman clasificación promedio. c
se asume que tiene una distribución normal estándar. dLa probabilidad dos colas asociada con Zs;
*
diferencias significativas. eValores de probabilidad calculada de acuerdo al método de Holm.
En una última ronda de comparaciones, enfrentamos las mejores medidas de los experimentos previos (mejores series 2 MPs) con las mejores MPs de TG propuesta en este trabajo. Los resultados de la prueba por lote indican diferencias significativas que pueden ser atribuidas a las de “peor desempeño” Simpson y Bray-Curtis. De la prueba post hoc de Holm se pudo ver también que la posición tope fue alcanzada por la proporcionalidad corregida seguida por la monotonicidad e identidad corregida, Pearson (linealidad), monotonicidad no corregida, aditividad, luego las medidas de Tanimoto, Dice (identidad no corregida ), Kulczynski, Coseno (proporcionalidad no corregida ), y Sokal-Sneath (ver Tabla3-4). De esta lista ordenada, se puede apreciar que las MPs de TG corregidas clasificadas son mejores que las medidas no corregidas. También es notorio que 8 de las 11 MPs vienen del campo de la TG y que 5 de las 11 MPs son además nuevas en Quimioinformática para la búsqueda de similitud. Un resultado más favorable (y objetivo) es obtenido si en lugar del procedimiento Holm se aplica un procedimiento más potente, como lo es la prueba post hoc de dos- pasos de Li. De hecho el 100% de las medidas conservadas (ver MPs marcados con un **) por esta segunda prueba provienen del campo de la TG y luego 4 de las 5 MPs bivariadas son además nuevas en Quimioinformática y en la búsqueda de similitud.
Tabla3-4.Resultados de comparaciones por lote y post hoc entre las mejores medidas de series 1 y series 2 contra las mejores MPs de la TG en los conjuntos de datos MUV
MPa Rjb Zsc p(Npm – j)d Npm – j α/(Npm – j)e Lif p35 ** 4.1176471 - - - - - p312 ** 6.2352941 1.5853238 0.1128928 1 0.0500000 0.0500000 p32 ** 6.3823529 1.6954157 0.0899966 2 0.0250000 0.0466899 p112 ** 6.4117647 1.7174341 0.0858999 3 0.0166667 0.0466899 p311 ** 6.5882353 1.8495444 0.0643792 4 0.0125000 0.0466899 p33 6.8529412 2.0477099 0.0405884 5 0.0100000 0.0466899 p15 7.0294118 2.1798202 0.0292708 6 0.0083333 0.0466899
64 p16 7.0294118 2.1798202 0.0292708 7 0.0071429 0.0466899 p19 7.0294118 2.1798202 0.0292708 8 0.0062500 0.0466899 p110 7.2647059 2.3559673 0.0184745 9 0.0055556 0.0466899 p18 7.7058824 2.6862431 0.0072261 10 0.0050000 0.0466899 p111 8.7647059 3.4789049 0.0005035 * 11 0.0045455 0.0466899 p14 9.5882353 4.0954197 4.214E-05* 12 0.0041667 0.0466899 a
Estadistico de Friedman (distribuida de acuerdo al chi –cuadrado con 12grados de libertad ): 22.6367160, p- valor calculado por la prueba de Friedman: 0.0309730; estadístico de Iman y Davenport (distribuida de acuerdo a la o F-distribución con 12 y192 grados de libertad ): 1.9970275, p-valor calculado por la prueba Iman y Daveport: 0.0263860. MPs en orden decreciente de comportamiento con respecto a la mejor medida p35. Las MPs retenidas después de múltiples comparaciones por pares por la prueba de Holm son mostradas en cursiva y negrita. ILasMPs retenidas después múltiples comparaciones por pares por la prueba de Li son mostradas en cursiva y negrita. b Pruebas de Friedman clasificación promedio. c
se asume que tiene una distribución normal estándar. dLa probabilidad dos colas asociada con Zs;
*
diferencias significativas. eValores de probabilidad calculada de acuerdo al método de Holm. f
Valores de probabilidad calculada de acuerdo al procedimiento dos-pasos de Li.
Paso 1: Desechar todo Hi si p1 ≤ α = 0.05. Si no, aceptar la hipótesis asociada a p1 e ir al paso 2 Paso 2: Desechar cualquier restante Hi con pi ≤ [(1 - p1)/(1 - α)]α.
Comportamiento de las medidas TG en un escenario realista
Un experimento adicional sobre la calidad de las MPs TG bivariadas (exceptuando las log- transformadas) se condujo usando el conjunto de datos AIDS original y el mismo protocolo experimental. Una vez más estas medidas probaron ser útiles para la búsqueda de similitud mostrando valores de AUC[CROC] que van entre 0.91-0.94 indicando que hay una probabilidad mínima de 91% que un compuesto anti –VIH posicionado por cualquiera de estas medidas se encuentre antes que un compuesto que venga de una distribución exponencial con parámetro δ = 20 (Truchon y Bayly, 2007a). También para un análisis visual complementario se proporciona una parte interesante de las correspondientes curvas CROC “promedio ”en Figura2-4 exponiendo el hecho de que ahora las medidas p35 y p312 empeoran con respecto a las otras MPs de la TG para este problema en cuestión. Sin embargo, estas medidas superan claramente el clasificador aleatorio al recuperar todos los hits o candidatos potenciales cuando cerca del 20% de la lista de recuperación ha sido escaneada.
65
Figura 2-4. Curvas CROC de MPs de TG para la recuperación temprana del conjunto de datos AIDS
Interpretación y Aplicaciones de las medidas TG
Al inspeccionar los resultados previos está claro que MPs de TG bivariadas actuaron considerablemente bien. Desde el punto de vista de la teoría de “significación”, es más interesante encontrar el desacuerdo sin significado latente o relación de similitud significativa más sencilla en cada conjunto de datos MUV. Al considerar la mejor MP representada para cada repositorio químico se puede ver que las biomoléculas de los conjuntos de datos aid644 comparten de una relación de “similitud aditiva” mientras que los compuestos de los conjuntos de datos aid548, aid689, aid712, aid713, aid810, aid846, aid852, y aid858 son descritos mejor por una relación de “similitud proporcional ”. Por otra parte las moléculas de los conjuntos de datos aid652 y aid832 pueden ser modeladas por la relación más compleja de “similitud lineal ” y finalmente los compuestos de los conjuntos de datos aid466, aid600, aid692, aid733, aid737, y aid859 se relacionan a través de un relación de “similitud monotónica” con un grado polinomial más alto. Debido a la heterogeneidad de los descriptores usados para representar las moléculas del conjunto de datos, no se tiene una traducción exacta para los términos “similitud aditiva”, “similitud proporcional”, “similitud lineal” y “similitud monotónica” en el “lenguaje de rasgos estructurales”. Se opina que este es uno de los
66
aspectos esenciales de este estudio referentes al entendimiento de la similitud molecular porque si se pudiera asociar un modelo estructural relevante dado (por ejemplo, subgrafo químico, tipo de isomorfismo, isosterismo, bioisosterismo) a una medida de similitud TG binaria específica entonces se podría llevar a cabo una búsqueda orientada al uso de una fusión de similitud para recuperar moléculas que contienen los rasgos estructurales de interés.
Debido a las propiedades métricas complementarias de las medidas de similitud de TG estudiadas hasta ahora, estas pueden acoplarse exitosamente a los algoritmos de búsqueda acelerada (Cao y coautores, 2010). También ellas pueden ser usadas como rasgos en métodos de predicción (no) supervisada basada en similitud molecular (Chen y coautores, 2009). Específicamente ellas pueden ser integradas a métodos de agrupamiento SAHN combinatorio generales (Varin y coautores, 2009, Rivera-Borroto y coautores, 2011). En esta dirección Rivera-Borroto y coautores (2012b) puntualizaron que los métodos de agrupamiento juegan un rol central en las tareas Quimioinformáticas de predicción .Su trabajo se basó en resultados del campo de la máquina de aprendizaje indicando que el desempeño decreciente de los algoritmos de predicción viene dado por la superposición en aumento de la poblaciones estadísticas que generan de datos observados correspondientes. Sus resultados preliminares obtenidos por usar el índice de Dunn como una medida de tendencia de grupo en ocho conjuntos de datos pequeños farmacológicos propone que las medidas de tendencia de cálculo rápido podrían servir para estimar el grado de superposición de la muestra de descriptores y que ellos pueden servir para predecir los límites de desempeño de los algoritmos de predicción como los clasificadores de búsqueda de similitud.