La inteligencia artificial generativa introduce nuevos desafíos en la gestión de riesgos. Los riesgos de la IA generativa de los productos sanitarios son, entre otros, las alucinaciones, la variabilidad de los resultados, los sesgos y las dificultades para establecer límites funcionales suficientemente precisos.
Sin embargo, es recomendable distinguir entre la aparición de nuevas tecnologías y la necesidad de modificar los principios de gestión de riesgos.
El Reglamento (UE) 2017/745 (MDR) y la norma ISO 14971 ya establecen un marco para identificar peligros, estimar y evaluar riesgos, implementar medidas de control y verificar su eficacia durante todo el ciclo de vida del producto sanitario.
La cuestión es determinar cómo traducimos los comportamientos específicos de la IA generativa en peligros, situaciones peligrosas y daños clínicamente relevantes.
Las alucinaciones de la IA generativa no son necesariamente un daño
Uno de los problemas más conocidos de los modelos generativos es su capacidad para producir información incorrecta, inventada o no soportada suficientemente en los datos disponibles, presentándola con una aparente coherencia que en realidad no es tal.
En el contexto del producto sanitario y la propia práctica clínica, este fenómeno puede expresarse en diagnósticos incorrectos, interpretaciones clínicas injustificadas, recomendaciones terapéuticas inadecuadas o referencias científicas inexistentes.
Con eso, desde la perspectiva de la ISO 14971, identificar una alucinación como un riesgo resulta insuficiente. Conforme a la ISO 14971 y la propia EN 62304, este tipo de peligros o situaciones peligrosas son inadmisibles, desde el punto de vista de la influencia negativa en el criterio del profesional.
Tenemos que analizar la secuencia que puede conducir desde ese comportamiento del software hasta un daño.
- Consideremos un MDSW destinado a proporcionar información de apoyo al diagnóstico.
- El modelo genera una interpretación incorrecta de determinados resultados clínicos.
- El profesional sanitario acepta esa interpretación y modifica (o afecta en términos generales) su decisión diagnóstica.
- Como consecuencia, se retrasa la identificación de una patología relevante o, directamente, se genera un diagnóstico inadecuado.
En este escenario podemos distinguir:
- Comportamiento del software: genera información clínica incorrecta o imprecisa.
- Situación peligrosa: el profesional utiliza información incorrecta para tomar una decisión clínica.
- Daño: retraso diagnóstico y deterioro del estado de salud del paciente.
Este proceso analítico es fundamental porque permite identificar dónde pueden introducirse medidas de control y qué debe verificarse para demostrar su eficacia.
La alucinación es un fenómeno que puede contribuir a una secuencia de acontecimientos peligrosa. Su relevancia regulatoria depende de las consecuencias previsibles de esa secuencia. En este caso y conforme a la actual normativa armonizada, la severidad podría ser muy alta.
La variabilidad de los outputs podría conducirnos a revisar cómo estimamos los riesgos
En un software determinista, la reproducción de un error suele estar vinculada a condiciones relativamente identificables. Tras el proceso de validación adecuado, una desviación sería relativamente fácil detectar su origen.
En IA generativa, dos interacciones similares pueden producir respuestas diferentes. Además, la respuesta puede depender del contexto conversacional (el momento del proceso o experiencias previas, incluso sesgos, la configuración del modelo, las instrucciones del sistema o el propio proceso de entrenamiento y apredizaje.
Esta variabilidad plantea dificultades para estimar la probabilidad de determinadas situaciones peligrosas. En este escenario, el enfoque que exige determinar la probabilidad de forma objetiva, sistemática y cuantitativa resulta complicado.
No basta con verificar y validar que el modelo proporciona respuestas correctas ante un conjunto finito de datos clínicos en el proceso de D&D.
Es necesario analizar su comportamiento dentro de un espacio de entradas suficientemente representativo de las condiciones previstas de utilización. Este proceso, adicionalmente a presentar nuevos retos, podría dejar de ser percibido como objetivo.
Esto puede exigir estrategias específicas:
- Evaluación de conjuntos de casos clínicos representativos.
- Gestión de sesgos, representatividad estadística o volumen de datos clínicos empleados en el proceso de entrenamiento inicial y la validación.
- Análisis de escenarios poco frecuentes, pero clínicamente relevantes.
- Pruebas formulando alternativas de una misma consulta.
- Evaluación de interacciones sucesivas y acumulación de contexto.
- Análisis de respuestas ante información incompleta, contradictoria o ambigua, algo que se presenta como de extrema importancia.
La finalidad no es demostrar que el modelo nunca producirá una respuesta incorrecta; algo que resultará prácticamente imposible.
El objetivo es identificar las condiciones en las que puede producirse un comportamiento peligroso, estimar sus consecuencias y demostrar que los riesgos residuales resultan aceptables en comparación con el beneficio/riesgo del MDSw; algo que podría chocar frontalmente con el enfoque actual.
Los sesgos deberían analizarse como posibles fuentes de riesgos clínicos
Los sesgos de los modelos de inteligencia artificial suelen abordarse desde la calidad y representatividad de los datos.
Sin embargo, en producto sanitario debe conectarse directamente con la gestión de riesgos. Imaginemos un sistema destinado a identificar determinadas condiciones clínicas a partir de información del paciente (por ejemplo soporte al diagnóstico o cribado).
Si el modelo presenta un funcionamiento significativamente inferior en determinados grupos de población, el riesgo no reside únicamente en la existencia de un sesgo estadístico, sino en el de los datos, que afectan al performance del producto sanitario software.
El problema aparece cuando esa diferencia de funcionamiento puede provocar errores diagnósticos o terapéuticos.
Por tanto, el análisis tendrá que relacionar:
- Representatividad de los datos
- Diferencias de funcionamiento
- Situaciones peligrosas
- Posibles daños.
- Situaciones peligrosas
- Diferencias de funcionamiento
Esta relación permite justificar medidas de control específicas, como la ampliación de los conjuntos de validación, restricciones de uso, mecanismos de detección de entradas fuera del dominio validado o información dirigida a los usuarios. El proceso de PMS se antoja como esencial, pero… ¿suficiente?.
El artículo 10 del AI Act introduce requisitos específicos sobre gobernanza y calidad de los datos para los sistemas de alto riesgo sujetos a sus disposiciones; también son abordados por uno de los RGSF de MDR. Estos requisitos pueden complementar el proceso de gestión de riesgos del fabricante, pero no sustituyen la necesidad de demostrar que los riesgos clínicos se encuentran adecuadamente controlados.
La supervisión humana no representa automáticamente una medida eficaz de control del riesgo
Una de las respuestas habituales ante los riesgos, conforme a la normativa ISO 14971 y la EN 62304, y en especial de la IA generativa consiste en establecer que el profesional sanitario debe revisar las recomendaciones antes de utilizarlas. La supervisión humana no puede ser considerada una medida de control en sí misma.
Este planteamiento puede ser razonable, pero ya no es suficiente por sí mismo. Es probable que haya que disponer de una supervisión activa del profesional humano.
Para considerar la supervisión humana como una medida eficaz de control del riesgo debemos demostrar que el usuario puede identificar el comportamiento incorrecto y actuar antes de que se produzca el daño. En la práctica, resulta conceptualmente complejo y tremendamente contrario al enfoque regulatorio del MDSW. En este enfoque, actualmente, se considera que para justificar un beneficio/riesgo adecuado, debería ofrecer un performance igual o superior a una muestra representativa de humanos.
Esto depende de varios factores:
- Experiencia y conocimientos del usuario previsto.
- Información disponible para contrastar el output.
- Tiempo necesario para adoptar la decisión.
- Claridad de las advertencias y limitaciones.
- Capacidad real para detectar errores.
Existe una diferencia importante entre solicitar al médico que confirme una recomendación y proporcionarle los medios necesarios para evaluar críticamente su contenido. La finalidad prevista resulta profundamente diferente.
Además, la utilización de IA generativa puede favorecer fenómenos de confianza excesiva o automation bias, especialmente cuando el sistema produce respuestas coherentes y aparentemente bien fundamentadas.
Por ello, la supervisión humana debe analizarse conjuntamente con la usabilidad, la información suministrada y las condiciones reales de utilización.
El artículo 14 del AI Act refuerza la necesidad de establecer mecanismos adecuados de supervisión humana en los sistemas de alto riesgo a los que resulte aplicable. Parece claro que es un requisito y que resulta necesario para controlar riesgos previsibles, pero… ¿contradice la finalidad prevista y beneficio clínico del MDSW?.
La gestión de riesgos tendrá que extenderse a los componentes que condicionan el output
En un MDSW basado en IA generativa, el comportamiento del producto sanitario no depende necesariamente de un único modelo. Puede estar condicionado por diferentes elementos:
- Modelo fundacional
- Instrucciones del sistema
- Configuración
- Fuentes de información
- Mecanismos de recuperación
- Controles de seguridad
- Interfaz de usuario.
La modificación de cualquiera de estos componentes puede afectar al funcionamiento del producto. Por ejemplo, actualizar una base de datos clínicos utilizada por un sistema RAG puede modificar las respuestas sin necesidad de cambiar el modelo fundacional.
De la misma forma, una modificación de las instrucciones del sistema puede alterar la forma en que el software expresa incertidumbre, formula recomendaciones o rechaza determinadas solicitudes.
Desde la perspectiva de gestión de riesgos, estos cambios deben analizarse atendiendo a su posible impacto sobre las situaciones peligrosas previamente identificadas.
Esto conecta directamente con el control de cambios, la validación del software y el mantenimiento de su estado validado.
El PMS debe comprobar si las hipótesis de riesgo siguen siendo válidas
La gestión de riesgos de un producto sanitario no termina con su puesta en el mercado; al contrario, prácticamente comienza en un contexto de IA generativa.
El MDR exige que el fabricante mantenga actualizado el proceso de gestión de riesgos durante todo el ciclo de vida, utilizando también la información obtenida mediante seguimiento poscomercialización.
En IA generativa esta obligación toma especial relevancia. El comportamiento del sistema puede verse afectado por cambios en las características de las entradas, nuevas condiciones de utilización, modificaciones de componentes externos o diferencias entre los escenarios de validación y los observados durante su uso.
Por tanto, el PMS debe permitir identificar señales que cuestionen las hipótesis utilizadas en la evaluación inicial de riesgos, este es el reto por excelencia.
Entre ellas pueden encontrarse incrementos en determinadas categorías de errores, respuestas incorrectas ante situaciones clínicas no contempladas o dificultades de los usuarios para identificar recomendaciones inapropiadas.
La aparición de estas señales puede exigir actualizar la estimación de riesgos, introducir nuevas medidas de control o revisar la evidencia de funcionamiento. En mi opinión, requiere un enfoque demasiado dinámico al proceso de gestión de los riesgos.
La ISO 14971 sigue siendo aplicable, pero es previsible necesitar adaptar su aplicación
La IA generativa no invalida los principios establecidos por la ISO 14971. Los conceptos de peligro, situación peligrosa, daño, estimación del riesgo, medidas de control y evaluación del riesgo residual siguen siendo aplicables, adecuados.
La dificultad está en caracterizar adecuadamente el comportamiento del software y disponer de evidencia suficiente para justificar las estimaciones realizadas.
No considero que la respuesta deba consistir en crear una gestión de riesgos paralela exclusivamente dedicada a la inteligencia artificial, todo lo contrario, sino de editar los procesos y adaptar los conceptos.
El fabricante necesita un proceso integrado que permita relacionar los riesgos derivados del modelo con los riesgos clínicos del producto terminado.
Esto exige conectar la gestión de riesgos con el diseño y desarrollo, la validación, la evaluación clínica, la usabilidad, el control de proveedores, la gestión de cambios y el seguimiento poscomercialización (PMS).
En conclusión, las alucinaciones, los sesgos y la variabilidad no deben tratarse como riesgos genéricos asociados a la inteligencia artificial.
Deben traducirse en secuencias de acontecimientos que permitan comprender cómo un comportamiento incorrecto del software puede exponer al paciente a una situación peligrosa.
Solo entonces podremos establecer medidas de control proporcionadas y demostrar su eficacia.