Suscríbete

Gestión de los riesgos, garantías y responsabilidades del uso de la IA

Gestión de los riesgos, garantías y responsabilidades del uso de la IA

Jesús R. Mercader, catedrático de Derecho del Trabajo y miembro del Consejo Asesor de IA+Igual, desarrolla lo que llama  el ‘triángulo de oro’ de la Ley de IA europea: riesgos, garantías y responsabilidades.

Madrid, 9 de mayo. Reproducimos este artículo de Jesús R. Mercader publicado en El Foro de Labos por su interés. Al final del artículo hemos recopilado otros posts que abordan la Ley de IA desde el marco regulatorio, del diálogo social, formación y RR. HH-

La antropóloga Mary Douglas sostenía que las sociedades se definen a sí mismas por el modo en que caracterizan y gestionan sus riesgos. El desarrollo de la IA está asociado, de manera inescindible, a los múltiples riesgos que conlleva su incorporación a la dinámica económica y social en su más amplio sentido. Su control constituye la clave esencial en el que se asienta la Resolución legislativa del Parlamento Europeo, de 13 de marzo de 2024, sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión Europea. Y es que, si bien la incorporación de esta nueva realidad conlleva notables incertidumbres, se trata, en última instancia, de construir una incertidumbre medible.

El Reglamento de Inteligencia Artificial (RIA) sitúa, por ello, su centro de gravedad en la valoración del riesgo que conlleva el uso de los sistemas y modelos de IA. La noción de “riesgo”, definida en dicha norma como “la combinación de la probabilidad de que se produzca un daño y la gravedad de dicho daño” (art. 3.2 del RIA), sirve de base para establecer una “pirámide de riesgos” ascendente (del riesgo medio/bajo hasta el riesgo inaceptable, pasando por el riesgo alto) que se emplea para clasificar una serie de prácticas y casos de uso de la IA en ámbitos específicos, lo que supone reconocer que no todos los tipos de IA suponen un riesgo y que no todos los riesgos son iguales o requieren las mismas medidas de mitigación.

Por ello, y en recta correspondencia, el RIA crea un sistema de obligaciones, garantías y responsabilidades para todos los agentes que actúan dentro de este nuevo ecosistema (proveedores, fabricantes, responsables del despliegue y, en el sentido más amplio, afectados por el uso de estos sistemas). Se construye, de este modo, lo que venimos calificando como el “triángulo de oro” del RIA: aproximación desde el riesgo, garantías y responsabilidades.

Niveles de riesgo y límites de uso

La pieza nuclear del sistema que construye el RIA se asienta en el establecimiento de límites al uso de los sistemas que califica de “alto riesgo” (art. 6.1 y 2 por relación con lo establecido en el Anexo III del RIA), a los que dedica la norma la mayor parte de su extenso contenido. Una noción que, como precisa el Considerando (46), se diseña tomando en cuenta sus efectos, por cuanto incluye entre tales sistemas aquellos que “tengan consecuencias perjudiciales importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación reduce al mínimo cualquier posible restricción del comercio internacional, si la hubiera”.

Lo laboral ocupa, también aquí, un papel protagonista. Y es que, como viene a subrayar el considerando (48), “la magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es especialmente importante a la hora de clasificar un sistema de IA como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, (y) los derechos de los trabajadores (…)”.

La lectura del art. 6.2 en relación con el Anexo III de RIA ratifica de modo concluyente la referida proyección sobre lo social. Dicho Anexo III incorpora entre los sistemas de IA de alto riesgo los que afecten al “empleo, gestión de los trabajadores y acceso al autoempleo” y, en concreto:

  • a) “Sistemas de IA destinados a ser utilizados para la contratación o la selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar las solicitudes de empleo y evaluar a los candidatos”
  • “b) Sistemas de IA destinados a utilizarse para tomar decisiones o influir sustancialmente en ellas que afecten a la iniciación, promoción y resolución de relaciones contractuales de índole laboral, a la asignación de tareas basada en la conducta individual o en rasgos o características personales, o al seguimiento y evaluación del rendimiento y la conducta de las personas en el marco de dichas relaciones”.

El Considerando (57) justifica dicha inclusión sobre la base de que los mismos “pueden perpetuar patrones históricos de discriminación, por ejemplo, contra las mujeres, ciertos grupos de edad, las personas con discapacidad o las personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, promoción o retención de personas en las relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden socavar sus derechos fundamentales a la protección de los datos personales y a la intimidad”.

El uso de sistemas de IA para el control, el seguimiento y la evaluación de trabajadores plantea graves preocupaciones con respecto de sus derechos fundamentales y al establecimiento de unas condiciones de trabajo equitativas y justas, como ya hemos tenido oportunidad de señalar en trabajos anteriores.

Sistema de garantías

El RIA incorpora un importante sistema de garantías que se anudan a los requisitos generales que deberán cumplir los sistemas de IA de alto riesgo “teniendo en cuenta sus finalidades previstas, así como el estado actual de la técnica generalmente reconocido en materia de IA” (art. 8). Ello lleva consigo el establecimiento, implantación, documentación y mantenimiento de un sistema de gestión de riesgos entendido como “un proceso iterativo continúo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requerirá revisiones y actualizaciones sistemáticas periódicas” (art. 9). A ello se une la necesaria “gobernanza de los datos” (art. 10), las exigencias de una precisa documentación técnica (art. 11) y la necesidad de garantizar un nivel de trazabilidad del funcionamiento del sistema (art. 12).

La transparencia suficiente para que los responsables del despliegue (en el caso laboral, los empleadores) interpreten y usen correctamente la información de salida que incorporen los sistemas de IA, constituye un principio maestro (art. 13) al que se une la necesidad de que su diseño y desarrollo permita cumplir con el principio de humano al mando (art. 14). En fin, unos sistemas que se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme durante todo su ciclo de vida (art. 15).

El requisito de “vigilancia humana” es especialmente relevante en las relaciones laborales, puesto que un trabajador o un grupo de trabajadores se encargarán de ella. Como puso de relieve en su día el CESE, estos trabajadores deben recibir formación sobre cómo llevar a cabo esta tarea. El RIA otorga carácter de principio a lo que denomina “alfabetización en materia de inteligencia artificial” que enuncia en su art. 4 (conceptuado por el art. 3.56) del siguiente modo: “Los proveedores y responsables del despliegue de sistemas de IA (en el caso laboral, los empleadores) adoptarán medidas para garantizar que, en la mayor medida posible, su personal y demás personas que se encarguen en su nombre del funcionamiento y la utilización de sistemas de IA tengan un nivel suficiente de alfabetización en materia de IA, teniendo en cuenta sus conocimientos técnicos, su experiencia, su educación y su formación, así como el contexto previsto de uso de los sistemas de IA y las personas o los grupos de personas en que se utilizarán dichos sistemas”. Además, dado que se espera que estos trabajadores puedan ignorar el resultado del sistema de IA o incluso no utilizarlo, deben establecerse medidas de protección frente a las represalias que pueda sufrir en aquellos casos en que la persona trabajadora no tome la correspondiente decisión.

Además de las obligaciones aplicables con carácter general a los sistemas de IA de alto riesgo, la Sección 3 de este Título III, titulado “Obligaciones de los proveedores y responsables del despliegue de los sistemas de IA de alto riesgo y de otras partes”, establece las obligaciones que, en relación con los sistemas IA, deben cumplir determinados actores que intervienen en su diseño, fabricación, comercialización y uso.

En concreto, los responsables del despliegue de los sistemas de IA que incorporen estas técnicas se encuentran obligados a cumplir con un ineludible presupuesto [art. 26.7 RIA y Considerando (92)]: “Antes de poner en servicio o utilizar un sistema de IA de alto riesgo en el lugar de trabajo, los responsables del despliegue que sean empleadores informarán a los representantes de los trabajadores y a los trabajadores afectados de que estarán expuestos a la utilización del sistema de IA de alto riesgo. Esta información se facilitará, cuando proceda, con arreglo a las normas y procedimientos establecidos en el Derecho nacional y de la Unión y conforme a las prácticas en materia de información a los trabajadores y sus representantes”.

Una exigencia esencial si atendemos a los términos del Considerando (92) que considera que “este derecho de información es accesorio y necesario para el objetivo de protección de los derechos fundamentales que subyace al presente Reglamento (…)” y, además, se impone “incluso aunque no se cumplan las condiciones de las citadas obligaciones de información o de información y consulta previstas en otros instrumentos jurídicos (la referencia se hace a la Directiva 2002/14/CE)”.

Una exigencia que se ve reforzada por el artículo 86 del RIA que reconoce el derecho a recibir una explicación individualizada de aquellos usos de la IA que afecten a una persona trabajadora. Esto supone que “toda persona que se vea afectada por una decisión que el responsable del despliegue adopte basándose en los resultados de un sistema de IA de alto riesgo que figure en el anexo III, con excepción de los sistemas enumerados en su punto 2, y que produzca efectos jurídicos o le afecte considerablemente del mismo modo, de manera que considere que tiene un efecto perjudicial para su salud, su seguridad o sus derechos fundamentales, tendrá derecho a obtener del responsable del despliegue explicaciones claras y significativas acerca del papel que el sistema de IA ha tenido en el proceso de toma de decisiones y los principales elementos de la decisión adoptada”.

La Sección 5 de este Título III del RIA –Normas, evaluación de conformidad, certificados, registro- incorpora la exigencia de autocertificación de los sistemas de alto riesgo, proceso mediante el cual los proveedores de dichos sistemas evalúan y declaran que cumplen con los requisitos y estándares establecidos normativamente.

El fundamento de dicha exigencia se extrae del Considerando (125) del RIA que viene a precisar que: “Dada la complejidad de los sistemas de IA de alto riesgo y los riesgos asociados a ellos, es importante desarrollar un sistema adecuado para el procedimiento de evaluación de la conformidad de los sistemas de IA de alto riesgo en el que participen organismos notificados, denominado «evaluación externa de la conformidad». No obstante, habida cuenta de la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos y de la distinta naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones externas de la conformidad a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la biometría”.

Establece el art. 43.2 RIA que: “En el caso de los sistemas de IA de alto riesgo mencionados en los puntos 2 a 8 del anexo III, los proveedores se atendrán al procedimiento de evaluación de la conformidad fundamentado en un control interno a que se refiere el anexo VI, que no contempla la participación de un organismo notificado”. De este modo, los sistemas de IA laborales quedan incluidos dentro del radio de la autocertificación. Una exigencia que lleva consigo para los proveedores de estos sistemas el cumplimiento de ciertos requisitos:

  • (i) La comprobación de que el sistema de gestión de la calidad establecido reúne los requisitos establecidos en el artículo 17 del RIA.
  • (ii) Examinar la información de la documentación técnica para evaluar la conformidad del sistema de IA con los requisitos esenciales pertinentes establecidos en el capítulo III, sección 2. (iii) Asimismo, comprobar que el proceso de diseño y desarrollo del sistema de IA y la vigilancia poscomercialización del mismo a que se refiere el artículo 72 son coherentes con la documentación técnica.

Con todo, el modelo de autocertificación plantea numerosas dudas y hace más necesaria que nunca la consolidación de empresas tecnológicamente responsables.

Régimen de responsabilidades y sanciones

El último vértice del triángulo de oro del RIA se cierra con un potente régimen de responsabilidades y sanciones asociadas. Como expresa el Considerando (168) del RIA, “se debe poder exigir el cumplimiento del presente Reglamento mediante la imposición de sanciones y otras medidas de ejecución”.

Sus efectos parecen, a priori, demoledores. El art. 99.4 establece el régimen sancionador para el incumplimiento de las obligaciones que se establecen por el RIA. A tal efecto precisa que: “El incumplimiento por parte de un sistema de IA de cualquiera de las disposiciones que figuran a continuación en relación con los operadores o los organismos notificados, distintas de los mencionados en el artículo 5, estará sujeto a multas administrativas de hasta 15.000.000 EUR o, si el infractor es una empresa, de hasta el 3 % de su volumen de negocios mundial total correspondiente al ejercicio financiero anterior, si esta cuantía fuese superior”, resultando a nuestros efectos relevante el apartado e) que proyecta los anteriores efectos sobre “las obligaciones de los responsables del despliegue con arreglo al artículo 26”.

Como nos recuerdan Fischhoff y Kadvany, la palabra “riesgo” deriva del italiano antiguo “risicare”, que significa “atreverse”, en el sentido de actuar ante la incertidumbre. El análisis del riesgo es una herramienta intelectual para reducir los peligros y limitar el papel de la suerte. El desarrollo de los sistemas y modelos de IA alumbra importantes dudas. Por ello, caminar de la mano de regulaciones que son conscientes de ello permitirá a la racionalidad humana ir un paso por delante de la algorítmica.

Información relacionada

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

es_ESSpanish
Scroll al inicio