Las inteligencias artificiales deberían poder razonar sus explicaciones

Nota editorial (2025): publicado originalmente en 2020. Se añadió una versión estructurada con fines enciclopédicos. El texto original se conserva íntegro como parte del archivo histórico.

Aplicaciones Médicas y Explicabilidad Avanzadas del Procesamiento del Lenguaje Natural (NLP) en el Área de IA Explotable

Universidad de Santiago de Compostela, España.

En un estudio reciente publicado hace aproximadamente un año, la compañía médica Geisenger reveló resultados sorprendentes sobre el empleo de inteligencia artificial (IA) para estimar los riesgos inmediatos de muerte en pacientes afectados por ciertas enfermedades cardíacas utilizando electrocardiogramas. Para alcanzar estos avances, se entrenó una red neuronal con casi dos millones de datos electrocardiográficos obtenidos de cerca de 400 000 personas.

Aunque los resultados proporcionados por la IA superaron al de los cardiólogos profesionales, hubo un desafío para explicar cómo identificó correctamente ciertos electrocardiogramas que anteriormente habían fallado. La singularidad radica en que esta IA fue diseñada principalmente para optimizar las respuestas y no específicamente para proporcionar una razón detrás de su proceso de toma de decisiones, representando lo que se ha denominado como “caja negra”. Las IA explicables tienen la capacidad adicional de comunicar sus resultados junto con el razonamiento y los pasos tomados para llegar a tales conclusiones.

• Diseño Transparente vs. “Caixa Negra”: Aunque las IA explicables son transparentes, existen dos enfoques principales para diseñar máquinas que proporcionan transparencia: concebirlas como cajas blancas (muy transparentes o semitransparentes) y abrir la “caja negra” para revelar cómo funcionan. Los sistemas expertos, por ejemplo, se basan en representaciones computacionalmente tratables del conocimiento humano.
• Aprendizaje Profundo: A este respecto, hay una aproximación a abrir la “caja negra” que es ampliamente utilizada y consiste en el aprendizaje profundo o redes neuronales artificiales. Estas IAs están formadas por arquitecturas con modelos matemáticos simples de múltiples neuronas intrincadamente interconectados, similar a capas como las del pan integral.
• “Peso”: El aprendizaje es facilitado mediante una selección adecuada y estratégica durante el entrenamiento de la red sobre conjuntos representativos para minimizar los ejemplos que no aportan validez. A pesar de su gran capacidad, dicha capacidad se descompone en un sinfín de parámetros o “pesos” cuya asociación es fundamental.
• “Capacidades Éticas”: Además de consideraciones técnin y legales, también hay que tener en cuenta implicaciones éticas. Este tema está cada vez más presente en marcos legislativos a nivel internacional como se refleja en la directrices para una IA digna delineada por la Comisión Europea.

“NL4XAI”: La Universidad de Santiago de Compostela, coordinando NL4XAI (Red Nacional Singular de Inteligencia Artificial Explicable), está comprometida en el área desde una escuela básica hasta la universidad. Participan 18 socios entre universidades y empresas a lo largo de seis países para desarrollar un doctorado conjunto.

• “Explicabilidad Avanzada”: Un objetivo central es utilizar tecnologías del lenguaje natural (NLP) con fines educativos y formativos en la IA explicable. La red busca desarrollar agentes conversacionales capaces de dar explicaciones multimodales, uniendo información visual a textual o narrativa.
• “Formación Multimodal”: Además del desarrollo técnico avanzado en la IA y el NLP para aplicaciones médicas, también se pondrán de manifiesto otros esfuerzos como mejorar las estrategias formativas que permitan un entendimiento más profundo por parte de los usuarios.

La comunicación adecuada y explicaciones sobre cómo una IA llega a conclusiones impactantes para el bienestar humano es crucial. Esta demanda, junto con consideraciones técnicas, legales, e incluso éticas está en crecimiento como reflejo de la importancia del campo.

Preguntas frecuentes

“`html

FAQs para los usuarios interesados en la aplicación de Inteligencia Artificial médica con explicaciones avanzadas del Procesamiento del Lenguaje Natural (NLP)

¿Qué fue el estudio publicado por Geisenger que involucraba a IA y pacientes cardíacos?

El estudio demostró resultados notables en la capacidad de una red neuronal entrenada con casi dos millones de datos electrocardiográficos para estimar los riesgos inmediatos de muerte entre 400 000 personas afectadas por enfermedades cardíacas.

¿Cómo supera la IA a un médico profesional en evaluaciones electrocardiográficas?

La red neuronal de IA fue capaz de interpretar los patrones del electrocardiograma con mayor precisión que algunos cardiólogos, aunque su mecanismo exacto para hacerlo sigue siendo una “caja negra”. Se trabaja en explicables AI para solucionar esta limitación.

¿Qué implica tener un diseño transparente o abierto de IA?

“Caixa Negra” se refiere a sistemas que no explican cómo llegaron a sus conclusiones. Por otro lado, los “cajas blancas”, transparentes y semitransparentes, revelan su proceso de toma de decisiones.

¿Qué es el aprendizaje profundo en relación con IA explicables?

El aprendizaje profundo o redes neuronales artificiales están formados por arquitecturas complejas similares a capas de pan integral y son una forma para abrir la “caja negra” al proporcionar transparencia.

¿Cómo se relacionan los pesos en una red neuronal con el aprendizaje?

Los pesos son factores clave que la red entrena para asociarse correctamente, asegurando así un diseño eficiente y efectivo de las IA.

¿Qué consideraciones éticas rodean el desarrollo avanzado en NLP aplicadas al campo médico?

“NL4XAI” es un proyecto que abarca la enseñanza y explicabilidad a través de IA, con énfasis tanto técnico como formativo para mejorar las estrategias educativas.

“`

---

Texto original (2020)

Hace aproximadamente un año, una pequeña compañía estadounidense del ámbito médico, Geisenger, publicó unos resultados sorprendentes sobre la aplicación de una inteligencia artificial (IA) para estimar el riesgo de muerte a corto plazo de pacientes con ciertas patologías cardíacas, a partir de su electrocardiograma.

Para ello entrenaron a una red neuronal con casi dos millones de electrocardiogramas de casi 400 000 personas. Al final esta IA, basada en una técnica conocida como “aprendizaje profundo”, obtuvo unos resultados mejores que los de los cardiólogos. Los médicos, además, no fueron capaces de encontrar con posterioridad ningún patrón o señal de riesgo en aquellos electrocardiogramas que la máquina había identificado correctamente donde ellos habían fallado.

La IA había encontrado algo en la señal electrocardiográfica que los expertos humanos no eran capaces de detectar.

El problema es que la IA solo fue diseñada para obtener la mejor respuesta posible, pero no para dar una razón de la misma. Es lo que en el campo se llama como “caja negra” por su falta de transparencia y, por tanto, de capacidad para conocer y dar una explicación de sus resultados.

Las IA explicables están dotadas con la capacidad de explicar su funcionamiento. Son capaces de comunicar sus resultados y el proceso de razonamiento que han seguido para obtenerlos, de un modo en que a las personas nos resulte sencillo entenderlo. Hay dos aproximaciones principales para diseñar máquinas así.

Por un lado, podemos concebirlas como cajas blancas (transparentes o semitransparentes). Por ejemplo, aquellas que se basan en representaciones computacionalmente tratables del conocimiento humano. Los conocidos como “sistemas expertos”. Sin embargo, esta aproximación no es posible o deseable en muchas ocasiones, ya sea por dificultades de diseño o por prestaciones insuficientes.

Abramos las cajas negras

Otra aproximación consiste en abrir y ver el interior de esas cajas negras. Este es el caso de las IA basadas en aprendizaje profundo o, en general, en redes de neuronas artificiales. Estas usan arquitecturas de aprendizaje formadas por modelos matemáticos muy simples de neuronas. Estas, en un número de miles o decenas de miles, y profusamente interconectadas –en general en capas, como una lasaña–, suponen en total cientos de miles o incluso millones de conexiones. Estas conexiones se asocian a valores, denominados “pesos”, que resultan fundamentales en el proceso de obtención de una respuesta a cada entrada aplicada a la red neuronal.

Esta respuesta puede corresponderse, según el caso, con un diagnóstico, con la identificación de un objeto sobre una imagen o con la traducción al español de una frase en inglés. La adecuada selección de estos pesos se realiza durante el entrenamiento de la red sobre conjuntos de datos de entrenamiento. El proceso suele ser muy exigente en cuanto al número y la representatividad de los ejemplos sobre los que aprender, así como los recursos computacionales que se requieren para ello.

La capacidad de aprender de este tipo de redes es enorme, pero lo que aprenden queda distribuido, sin relación aparente entre sí, en un sinfín de parámetros o pesos. Por eso podemos ignorar en qué se basa una de estas IA para detectar una neumonía incipiente o un nódulo potencialmente cancerígeno sobre una radiografía de tórax. Exagerando, sería como intentar encontrar una explicación sobre cómo un radiólogo llega a la misma conclusión a partir de una resonancia magnética funcional de su cerebro.

Por muy capaces que sean las máquinas para darnos respuestas, si estas nos afectan significativamente necesitamos que, además de ser buenas, sean entendibles. De otro modo no confiaremos en ellas. Se trata de un tema que está cada vez más presente en el marco legislativo de los países. De hecho, el nuevo Reglamento General Europeo de Protección de Datos otorga el derecho a una explicación de las decisiones que afectan a las personas, sin importar quién (o qué máquina) tome esas decisiones. Además de las cuestiones técnicas y jurídicas, también hay que tener en cuenta las cuestiones éticas, como se destaca en las directrices para una IA digna de confianza publicadas por la Comisión Europea.

El CiTIUS (Universidad de Santiago de Compostela) está comprometido con la formación en IA explicable desde la escuela básica hasta la universidad y coordina la primera red europea de formación de investigadores en esta temática. Se trata de la red NL4XAI, acrónimo del proyecto titulado “Tecnologías de Lenguaje Natural para la Inteligencia Artificial Explicable”.

Esta red tiene como principal objetivo la formación de investigadores expertos en IA explicable. En ella participan 18 socios, entre universidades y empresas, de 6 países, que colaboran en la formación de 11 doctores. Un objetivo común será utilizar tecnologías del lenguaje natural para construir agentes de conversación capaces de explicarse interactuando con las personas. Además, estos agentes podrán manejar información verbal y no verbal, proporcionando a sus usuarios explicaciones multimodales (es decir, mezclando explicaciones visuales y textuales o narrativas).

Nos gustaría que una IA pudiese explicar, como lo hace un juez o una jueza, los fundamentos de una sentencia. También que nos pudiese explicar cómo logra reconocer al acusado a pesar de haberse dejado barba desde la última vista, algo que las personas, aunque seamos capaces de hacerlo, tampoco podemos explicar cómo, pero de esto hablaremos otro día.

Senén Barro Ameneiro recibe fondos de H2020 Marie Skłodowska-Curie (ITN NL4XAI)

Jose Maria Alonso Moral recibe fondos de H2020 Marie Skłodowska-Curie (ITN NL4XAI), del programa Ramón y Cajal (RYC-2016-19802), del programa RETOS de I+D (RTI2018-099646-B-I00) y del programa de Excelencia de la Xunta de Galilcia (ED431F 2018/02).

Fuente: The Conversation (Creative Commons)
Author: Senén Barro Ameneiro, Director del CiTIUS-Centro Singular de Investigación en Tecnologías Inteligentes de la Universidad de Santiago de Compostela, Universidade de Santiago de Compostela