Economía y salud
BOLETÍN INFORMATIVO - Año 2021. Octubre. nº 98
www.aes.es
En este número Jornadas XL abril 2021
Portada

Opinión
Temas
Con acuse de recibo "desde los grupos de interés"
Jornadas XL enero 2021
Jornadas XL abril 2021
Jornadas XL mayo 2021
Jornadas XL 16 junio 2021
Jornadas XL 17 junio 2021
Jornadas XL Premios 2021
Noticias
Buzón de sugerencias

Evaluando la inteligencia artificial: Un viaje desde la ciencia ficción a la novela costumbrista



Celia Muñoz Fernández
Unidad de Decisiones Basadas en la Evidencia
Instituto Aragonés de Ciencias de la Salud
Email: cmunnozf.iacs@aragon.es
Twitter: @mf_Celia

 

"I've seen things you people wouldn't believe”.

 

El riesgo de que esta crónica esté escrita por una aficionada a la ciencia ficción es que te inicie la sesión con una cita de Blade Runner. Y, efectivamente, como si de una novela distópica se tratara, el pasado 29 de abril nos volvimos a reunir en una sesión de las Jornadas XL de la Asociación de Economía de la Salud para debatir sobre temas relevantes en el ámbito de la economía de la salud. En esta ocasión quisimos poner el foco en la aparición y consolidación de la Inteligencia Artificial (IA) como componente clave de las tecnologías sanitarias, ¿a qué nos enfrentamos a la hora de evaluar una IA? Para ello, contamos con la participación de Jeanette Kusel y Enrique Bernal, que nos trasladaron de la fascinación futurista a la realidad actual, ofreciéndonos una visión completa de la situación.

Según se describe en el cine, la IA permite expandir las capacidades de análisis humanas. Lo cierto es que, en los últimos años, han ido apareciendo tecnologías sanitarias que se basan en la IA, especialmente destinadas a clasificar y predecir. Son estas, precisamente, dos de las tareas más genuinas de cualquier profesión sanitaria. Estas tecnologías son entrenadas con grandes cantidades de datos, aprendiendo a etiquetar, desvelando patrones ocultos y evolucionando de forma progresiva.

Jeanette Kusel es Directora del NICE Scientific Advice, el equipo del NICE que se encarga de guiar a las compañías desarrolladoras de dispositivos y otras tecnologías sobre la generación de evidencia científica necesaria en la evaluación. En otras palabras, centinelas que están avanzando y abriendo camino desde el primer momento hacia todos los retos que propone la evaluación de tecnologías basadas en la IA.

De acuerdo con las ideas que expuso, podemos decir que, en principio, no existen diferencias en el proceso de evaluación de la IA y el resto de las tecnologías sanitarias. Sin embargo, a la hora de plantear la evaluación en términos metodológicos, las tecnologías basadas en la IA sugieren preguntas de investigación particulares relacionadas con cada una de las fases de desarrollo de la tecnología y su funcionamiento. Por tanto, el análisis de evaluación de la IA pasa por la conceptualización del algoritmo, el entrenamiento, validación, la investigación clínica sobre el efecto del uso de la IA y la monitorización continua que desembocaría en la actualización del algoritmo.


[Ampliar]

Cada uno de estos pasos tiene una serie de retos asociados, algunos compartidos, que se materializan en los siguientes aspectos:

  • Necesitamos saber si todos los parámetros de calidad de los datos se cumplen (que sean completos, que tengan buen etiquetado, consistencia, conocer cómo se han tratado los datos perdidos, etc.)
  • Asegurar si la base de datos utilizada es representativa. Unos datos construidos sobre sesgos podrían hacer que el aprendizaje desarrolle o amplifique sesgos futuros; es clave revisar las posibles implicaciones éticas.
  • Es preciso analizar los estudios de validación para valorar la tecnología, ya no solo su nivel de precisión (por ejemplo, en el caso de tecnologías diagnósticas), sino yendo más allá, determinando si los resultados de la validación cuentan con el nivel de representatividad y generalización suficiente para la población que será usuaria.
  • Conocer si los datos recogen la práctica clínica estándar y sus implicaciones en esta. ¿Cómo van a interactuar los/las profesionales y cuál es su nivel de confianza acerca de los resultados producidos por la nueva tecnología? Resulta clave analizar cómo se gestionará esta información y si tendrá impacto en los procesos de asistencia.
  • Puesto que existen algoritmos con distintos esquemas de actualización, será esencial determinar la necesidad y cómo deben hacerse re-evaluaciones, especialmente en aquellos algoritmos adaptativos que están en continua evolución, para los que aún se cuenta con casos de uso.
  • Es de vital importancia definir el rol de las agencias de evaluación en coordinación con los órganos reguladores.

Además de los mencionados, existen otros desafíos paralelos, más generales y no tan relacionados con la metodología, como son las consideraciones acerca de la gobernabilidad de los datos (en el caso de Reino Unido, se está trabajando conjuntamente con diversas instituciones); la formación y preparación de los comités de evaluación, que resulta clave a la hora de analizar y valorar las tecnologías basadas en la IA; y, desde luego, el empleo de recursos desde las agencias a la hora de planificar las evaluaciones y posibles re-evaluaciones según los algoritmos que se vayan actualizando.

La colaboración entre los diferentes agentes es otra de las cuestiones prioritarias. En esta línea, Jeanette presentó varios proyectos que se están llevando a cabo por parte del NICE, vinculados tanto al inicio del desarrollo de las tecnologías (análisis de necesidades de evidencia, informando planes de colección de datos, etc.), como a dotar a las compañías desarrolladoras de IA del conocimiento sobre todo el proceso de regulación y evaluación de las tecnologías sanitarias.

[Ampliar]

Una vez finalizada la intervención de Jeanette Kusel, pasamos a escuchar la discusión de Enrique Bernal, miembro del grupo de investigación en Ciencia de Datos para Investigación en Servicios y Políticas del Instituto Aragonés de Ciencias de la Salud, quien se encargó de trasladar el debate a nuestro contexto. Enrique, no sin antes recordar el cariño y admiración que tenemos al NICE desde la Asociación de Economía de la Salud, presentó aquellos puntos de los que podemos aprender y de los que tomarán (tomaremos) nota las agencias de evaluación de la RedETS.

Entre las reflexiones que planteó Enrique, se encuentra la dicotomía tradicional de “enfrentamiento” entre la inteligencia humana y la artificial. Sin embargo, la combinación de ambas inteligencias especialmente en el trabajo de clasificación y predicción puede tener un impacto notable en todo el sistema. Esto se materializa en varias recomendaciones:

  • Merece la pena dedicar esfuerzo y cautela en las fases de validación de los algoritmos, es decir, debemos preguntarnos cómo se han generado las pruebas sobre el funcionamiento de una tecnología basada en la IA y si podemos trasladar una validación con enfoque específico y reducido a la práctica habitual en un contexto amplio.
  • Debemos tener presente que, además de algoritmos adaptativos, también las personas que interactúen con la IA son adaptativas. Por tanto, resulta necesario expandir esta visión y realizar evaluación a nivel de sistema. Para ello es vital la implementación efectiva del uso de datos de vida real, que ayudará a monitorizar esta interacción entre la IA y los agentes del Sistema Nacional de Salud (SNS).
  • Necesitamos formas de conectar con todos los agentes que participan de alguna manera en la regulación, puesta en marcha y utilización de la IA en el SNS (regulación, toma de decisiones, experiencia de los/las pacientes, etc.).

Algunas de estas cuestiones están muy alineadas con la propuesta de Reglamento Europeo sobre la IA que, precisamente, se lanzó la semana pasada. En ella se clasifican los sistemas de la IA (de todo tipo de tecnologías, no exclusivamente las sanitarias) mediante un planteamiento basado en el riesgo, donde se establecen diferentes niveles de obligaciones, evaluación y trazabilidad de los procesos para su comercialización. Lo que pensábamos que era futuro, ya es presente.

Si hace unos años nos hubieran hablado sobre evaluar la IA hubiéramos pensado en un capítulo de Black Mirror o cualquier ficción distópica. Vamos por el buen camino cuando, cada vez más, esto se va pareciendo a una novela costumbrista.

Podrás encontrar la sesión al completo en el canal de YouTube de AES.


Deja tu opinión:

Nombre:
E-mail: (No visible)
Titular:
Opinión:
¿Cuál es el número de en medio?
3 7 (9) 1 6


AES-Secretaría
C/ Bonaire, 7 08301
Mataró (BARCELONA)

Tel. 93 755 23 82
secretaria@aes.es
 

Editores del boletín: Cristina Hernández-Quevedo (c.hernandez-quevedo@lse.ac.uk) y Jorge Mestre-Ferrándiz (jormesfer13@gmail.com).

Editora de redacción: Cristina Hernández-Quevedo (c.hernandez-quevedo@lse.ac.uk).


El Comité de Redacción del Boletín / Blog de Economía y Salud está compuesto por: Ruth Puig Peiró (en representación de la Junta Directiva de AES), Helena Hernández y Myriam Soto Ruiz de Gordoa (en representación de AESEC), Javier Mar y Miguel Ángel Negrín (en representación de EEconAES), Patricia Cubí-Mollá y Borja García-Lorenzo (en representación de EvaluAES), Carmen Pérez Romero y Elisa Gómez Inhiesto (en representación de GestionAES), Ariadna García Prado (Universidad de Pamplona) y Luz María Peña Longobardo (Universidad Castilla-La Mancha).


Han colaborado en este número: José María Abellán Perpiñán, José Ignacio Antón, Jaime del Barrio Seoane, Neus Carrilero Carrió, Randall P. Ellis, Zuleika Ferre, Manuel Flores, Borja García-Lorenzo, Ariadna García-Prado, Sergio García Vicente, Helena M. Hernández-Pizarro, Guillem López Casasnovas, Celia Muñoz Fernández, Catia Nicodemo, Jhoner Perdomo, Sara Pinillos Franco, Juan Carlos Rejón Parrilla, Irene Sánchez Collado, Manuel Serrano-Alarcón, Patricia Triunfo, Laura Vallejo Torres, Ana Magdalena Vargas Martínez, Joaquim Vidiella-Martin.