El Ministerio de Seguridad Social evita publicar detalles técnicos sobre el sistema de IA que emite un diágnostico sobre las bajas laborales y lleva el caso a la audiencia nacional. Expertos y sociedad civil exigen transparencia.
En 2024, más de nueve millones de españoles estuvieron de baja por incapacidad temporal. Cada uno de estos expedientes fue revisado por un programa informático basado en inteligencia artificial que actúa como una suerte de médico automatizado. El sistema procesa una larga lista de variables sobre el paciente y emite un juicio en forma de número entre 0 y 1. Cuanto más alto, más posibilidades hay de que el paciente esté listo para volver a trabajar. Cuanto más bajo, menos probable es que esté recuperado. Pese al uso intensivo de este sistema, que impacta directamente en la vida de millones de personas, el Instituto Nacional de la Seguridad Social (INSS) se ha negado en reiteradas ocasiones a ofrecer información detallada sobre su funcionamiento. Su último movimiento ha sido recurrir incluso a la Audiencia Nacional para evitar rendir cuentas.
Hace ahora dos años El Confidencial, en colaboración con Lighthouse Reports, desveló la existencia de este software que el INSS usa desde 2018 y sobre el que, aún hoy, apenas existe información pública. Las informaciones publicadas revelaron las dudas que este sistema genera entre los propios médicos inspectores de la Seguridad Social, encargados de evaluar los expedientes de baja que el sistema identifica como listos para el alta. Pero también entre los expertos para un uso responsable de la IA, que han criticado el diseño y la implementación de este proyecto. En especial por su incidencia directa en el derecho de los trabajadores a recibir una prestación pública mientras dure su baja.
Tras la publicación de la investigación, este diario solicitó al ministerio de la Seguridad Social, con base en la ley de transparencia, más información técnica sobre los modelos, incluyendo su código fuente, es decir, las instrucciones que los algoritmos siguen para realizar sus cálculos. Aunque el Ejecutivo aportó alguna documentación adicional, declinó el acceso al código, una pieza fundamental para poder evaluar estos sistemas.
Este medio presentó entonces una reclamación al Consejo de Transparencia, que en septiembre instó al ministerio a proporcionar los archivos con el código de los modelos de IA. La respuesta del INSS fue, de nuevo, denegar el acceso y presentar una demanda ante la Audiencia Nacional para no acatar la resolución del Consejo. Esta demanda se encuentra en la actualidad en fase de tramitación.
Lo ocurrido con este algoritmo en España no es un caso aislado, está sucediendo también en otros países en Europa y fuera del Continente. Mientras el hype en torno a la IA avanza a toda velocidad, la opacidad alrededor del uso de esta tecnología en el sector público sigue firmemente asentada. David Nolan, científico de datos en el área de tecnología de Amnistía Internacional, lleva años investigando el uso de algoritmos opacos por diferentes gobiernos. “El problema de esta opacidad es que hemos visto sistemas, muy similares entre ellos, que han provocado graves daños en los derechos de los individuos”, explica a El Confidencial por videollamada.
En noviembre, Amnistía sacó a la luz cómo el gobierno de Dinamarca usa múltiples algoritmos para detectar el [....] en el cobro de pensiones y ayudas a las familias. Estos programas, según los indicios recabados por la ONG, discriminan a personas discapacitadas y de pocos recursos, pero también a migrantes y refugiados. Otra investigación reciente reveló cómo la Seguridad Social de Suecia utiliza modelos de predicción del [....] que discriminan a las mujeres y a los ciudadanos de origen extranjero. Mayor repercusión tuvo el escándalo de discriminación racial, provocado por un algoritmo lleno de fallos, que en 2021 desencadenó la destitución en bloque del gobierno de Países Bajos.
“En este ecosistema, cualquier tipo de transparencia depende de investigaciones en profundidad y que requieren mucho tiempo, sea a través de periodistas o de la sociedad civil”, advierte Nolan, quien señala además cómo los gobiernos suelen usar argumentos muy similares, cuando no idénticos, para denegar el acceso a esta información.
En España, el ministerio de la Seguridad Social, en su respuesta inicial a la solicitud de El Confidencial, esgrimió que ofrecer los archivos del código fuente vulneraría “el secreto profesional y la propiedad intelectual e industrial” de estos programas. Más tarde añadió las dificultades técnicas para extraerlos de sus servidores. Y, finalmente, en el escrito presentado hace escasas semanas ante la Audiencia, alude también a la protección de los datos personales y a un riesgo de [....] masivo al Estado, derivado de un posible uso indebido del código.
Estos argumentos contrastan con la posición del Consejo de Transparencia, que subraya en su resolución la necesidad de “garantizar la explicabilidad” de estos programas y sus algoritmos. Para así permitir “la oportuna rendición de cuentas si esas decisiones no tienen la calidad esperada”, vulneran la normativa vigente o violan los derechos de los ciudadanos afectados.
El Consejo de Transparencia, un organismo público independiente que vela por el derecho de acceso a la información de la ciudadanía, hace referencia directa también al caso BOSCO, un programa informático que filtra las solicitudes para optar al bono social eléctrico, una prestación pública dirigida a hogares con dificultades para pagar el recibo de la luz. Desde hace varios años, la Fundación Civio litiga en los tribunales con el Gobierno para acceder al código fuente de este algoritmo.
En noviembre, el Tribunal Supremo admitió a trámite un recurso de Civio contra una sentencia previa de la Audiencia Nacional, que avalaba los argumentos del Ejecutivo para no permitir el acceso al código. “Hasta ahora no se había llegado al Supremo, que va a sentar jurisprudencia y poner el límite de hasta dónde llega la ley de transparencia. Es decir, si como ciudadanos tenemos derecho a pedir el código de estos sistemas”, señala a El Confidencial David Cabo, codirector de Civio. “De eso depende que desde fuera podamos vigilar o no lo que las administraciones están haciendo”, apunta Cabo. Joaquín Meseguer, experto en transparencia y miembro de la Academia de Jurisprudencia y Legislación de España, añade un elemento más a la ecuación. “Conocer la motivación del acto detrás de una resolución administrativa es clave”, porque permite a los afectados reaccionar y si es necesario recurrir.
“No hacerlo deja al ciudadano indefenso y con menores posibilidades de hacer frente a aquellas decisiones públicas que no comparte. Esa es la importancia de saber cómo actúan estas soluciones tecnológicas que ahora sustituyen, en buena medida, a la motivación argumental de antaño”, explica Meseguer en conversación con este diario. Documentos estratégicos ya aprobados por el Gobierno español como la Carta de Derechos Digitales o la Estrategia Nacional de Inteligencia Artificial recalcan la necesidad de conciliar el derecho a saber cómo funcionan esas herramientas con su uso efectivo, recuerda este jurista. “Que ese acceso deba serlo con unas determinadas garantías o cautelas no lo hace incompatible con un principio de suficiencia”. El nuevo reglamento de la Unión Europea de la IA impone varios requisitos de transparencia para los sistemas considerados de alto riesgo. Entre ellos, su publicación en una base de datos europea con información básica sobre estas herramientas y algunos detalles técnicos. Según los criterios de esta normativa -ya en vigor, pero con varios plazos de adaptación en los próximos años- los modelos usados por el INSS sí entrarían en la categoría de riesgo elevado, señala Judith Membrives, responsable de digitalización de Lafede.cat y miembro del colectivo IA Ciudadana. A diferencia de otros programas menos complejos técnicamente, como RisCanvi, el algoritmo de las cárceles de Cataluña, sobre los que aún hay dudas de la categoría bajo la que caerán, este sistema sí incluye un motor de aprendizaje automático -que en su caso define qué patrones predicen una pronta recuperación de los pacientes. A esto se añade, explica Membrives, su uso en un área sensible para los derechos de la ciudadanía (las prestaciones sociales) y ciertos niveles de inferencia y de autonomía, dos de los rasgos determinantes para evaluar el riesgo de los sistemas. La coalición IA Ciudadana advierte, sin embargo, de las limitaciones de la base de datos europea, que por ejemplo no obligará a publicar el código fuente y los datos de entrenamiento usados por los sistemas de riesgo más elevado. Por ello, las organizaciones que integran este colectivo acaban de pedir al Ejecutivo español que vaya más allá y cree un registro nacional propio. Una plataforma que incluya cualquier sistema que inmiscuya “una decisión automatizada con repercusiones en la vida de las personas”, describe Membrives.
“Bajo este supuesto mantra de eficiencia y optimización se está automatizando el Estado de bienestar, y los modelos de la Seguridad Social son un ejemplo muy claro. Las personas tienen que saber cómo se están tomando las decisiones sobre su derecho a una prestación”, concluye. Este reportaje forma parte del proyecto Decision Machines, una investigación que ha contado con el apoyo de Investigative Journalism for Europe (IJ4EU) y JournalismFund Europe. Se adjunta foto como el sistema IA determina Baja O Alta
Gracias, como siempre, por compartir @Santiroca 😀
1 afectuoso saludo 😉
No olvides pasar por nuestra seccion de Ayuda, para resolver de forma rapida y sencilla, las consultas o dudas que te puedan surgir, en relacion con los productos y servicios de Movistar; recuerda que tambien dispones de un buscador (ubicado en la parte superior de la web de la Comunidad), para asi obtener informacion sobre miles de consultas ya resueltas, similares a la tuya.
Te invitamos a que te presentes en nuestro Foro de Bienvenida, para conocer a mas usuarios y estar al dia sobre nuevos productos, servicios e innovaciones tecnologicas.
