Suscríbete

Qué dice la Ley de IA sobre los sistemas automatizados de control de emociones

Qué dice la Ley de IA sobre los sistemas automatizados de control de emociones

Ana B. Muñoz, profesora titular de Derecho del Trabajo de la Universidad Carlos III de Madrid y miembro del Consejo Asesor de IA+Igual, explica en profundidad la normativa de la Ley de IA europea sobre los sistemas automatizados de control de emociones.

Madrid, 6 de mayo. Ana B. Muñoz ha publicado en el blog El Foro de Labos un completo análisis sobre la normativa europea acerca de los sistemas de control de emociones.  Lo compartimos por su interés.

El Reglamento de Inteligencia Artificial europeo (RIA), también conocido como la Ley de IA, articula cuatro niveles de riesgo: 1) inaceptable, 2) alto, 3) limitado y 4) mínimo. Medimos el nivel de riesgo en función de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio para los derechos fundamentales de las personas. Conviene advertir que, si bien es una norma que se dirige principalmente a controlar la comercialización de los sistemas de IA, se refiere también a los usuarios de esta tecnología y sus posibles usos en el ámbito laboral. De hecho, menciona al “responsable del despliegue, que puede ser la empresa o el empresario y también se hace referencia a los trabajadores, la representación de los trabajadores y los convenios colectivos.

Llama la atención el salto cualitativo que supone esta normativa respecto al Reglamento General de Protección de Datos (RGPD) por varias razones:

  1. En primer lugar, se da el paso de aprobar un marco jurídico de la IA que supone una mayor envergadura que el procesamiento de datos de carácter personal.
  2. En segundo lugar, se concede un especial protagonismo a los datos biométricos (rostro, voz, huella dactilar, movimientos corporales, entre otros) y sus nuevas formas de captación (remota, en tiempo real, en tiempo diferido, entre otros).
  3. Y en tercer lugar, se supera el plano de los datos de carácter personal y se incluyen las emociones de las personas trabajadoras.
¿Por qué abordar los sistemas de reconocimiento de emociones en la nueva Ley de IA europea?

La razón se explica en el preámbulo de la norma cuando se dice que los datos biométricos pueden usarse para las funciones tradicionales (autenticación, la identificación o la categorización de las personas físicas), pero también para el reconocimiento de las emociones de las personas físicas. Esto es preocupante porque el tratamiento de datos biométricos por parte de las empresas puede derivar en el conocimiento de enfermedades de la persona trabajadora o predisposición a padecerlas sin cumplir la finalidad de prevención de riesgos laborales. A su vez, pueden producirse fallos del sistema de la IA debido a las singularidades culturales y derivar en discriminaciones (ver Biometría y los sistemas automatizados de reconocimiento de emociones: implicaciones jurídico-laborales, Tirant Lo Blanch, 2023).

El sistema de reconocimiento de emociones de IA está destinado a distinguir o inferir las emociones o las intenciones de las personas físicas a partir de sus datos biométricos (artículo 3 (39) RIA). Se refiere a emociones o intenciones como la felicidad, la tristeza, la indignación, la sorpresa, el asco, el apuro, el entusiasmo, la vergüenza, el desprecio, la satisfacción y la diversión. Pero no incluye los estados físicos, como el dolor o el cansancio, como, por ejemplo, los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales con el fin de evitar accidentes. Tampoco incluye la mera detección de expresiones, gestos o movimientos que resulten obvios, salvo que se utilicen para distinguir o deducir emociones. Esas expresiones pueden ser expresiones faciales básicas, como un ceño fruncido o una sonrisa; gestos como el movimiento de las manos, los brazos o la cabeza, o características de la voz de una persona, como una voz alzada o un susurro (artículo 18).

En definitiva, la emoción de una persona expone su vulnerabilidad esencial. Se dice que un ser sin emociones -porque se ha liberado de estas- no es un ser humano (Camps). De hecho, los ordenadores emocionales que simulan intencionalidad, emociones, valores y sentido común son eso, únicamente simulaciones, no realidades. Hacen como si sintieran, pero para sentir se necesita un cuerpo (Cortina).

Nivel de riesgo

Los sistemas de reconocimiento de emociones aparecen mencionados de forma explícita en el nivel de riesgo 1 -inaceptable-, luego, están prohibidos. Sin embargo, se recogen dos excepciones. Señala el artículo 5.1 f de la Ley de IA europea: “Quedan prohibidas las siguientes prácticas de IA: (…) La introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad”.

Además, los sistemas de reconocimiento de emociones también podrían estar en el nivel de riesgo 2 -alto-: no están prohibidos, por ejemplo, aquellos que estén justificados por motivos médicos o de seguridad. De hecho, en el Anexo III de la normativa europea, donde se enumeran los sistemas de IA de alto riesgo, aparecen los sistemas de IA destinados a ser utilizados para el reconocimiento de emociones y se dice en el Considerando (54) del RIA que “Además, deben clasificarse como de alto riesgo los sistemas de IA destinados a ser utilizados para la categorización biométrica conforme a atributos o características sensibles protegidos en virtud del artículo 9, apartado 1, del Reglamento (UE) 2016/679 sobre la base de datos biométricos, en la medida en que no estén prohibidos en virtud del presente Reglamento, así como los sistemas de reconocimiento de emociones que no estén prohibidos con arreglo al presente Reglamento”.

En estos casos, los operadores deberían aplicar -incluyendo las empresas o entidades públicas que lo utilicen- las obligaciones y garantías que se fijan en los artículos 26, 27 y 86 de la Ley de IA europea para este nivel de riesgo. Si bien pensamos que los ejemplos que podrían encajar en estas excepciones son limitados (en la medida que el RIA ha excluido los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales de la definición de sistema de reconocimiento de emociones los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales), podemos mencionar alguno. Sería el caso de las cámaras de IA que algunas cárceles españolas han implantado para identificar expresiones faciales y lenguaje corporal de los reclusos.

A su vez, también podríamos entender que habrá sistemas de este tipo que encajen en el nivel de riesgo 3 -limitado- cuando no se basen en los datos biométricos de las personas empleadas. El artículo 50 del RIA se refiere a la IA que se destina a interactuar con personas físicas tales como los robots de software (por ejemplo, chatbots). Desde nuestra perspectiva, si el robot de software se apoya en el lenguaje escrito para inferir emociones o intenciones estaríamos en el nivel de riesgo 3 y se aplicarán las obligaciones del artículo 50 RIA (deber de transparencia). Ahora bien, si en la conversación entre el chatbot y la persona trabajadora procesa la voz de la persona física (dato biométrico) podríamos estar en el nivel de riesgo 1 o 2 según las circunstancias.

El nivel de riesgo 4 -mínimo- incluye entre otros videojuegos con IA o filtros de spam. En este nivel de riesgo podríamos mencionar la aventura gráfica y el uso de la gamificación con finalidad laboral. Este tipo de tecnología puede provocar en las personas empleadas distintas emociones durante el proceso como alegría, frustración, decepción, triunfo…

Sin duda, la aprobación de esta norma inaugura una nueva rama del Derecho del Trabajo de la IA cuyo análisis y seguimiento promete ser apasionante. Y donde la negociación colectiva tiene mucho que aportar sobre todo en el terreno de los casos dudosos, es decir, cuando el nivel de riesgo (1-4) no esté claro y se deba recurrir a la ética. Al respecto, ya existen convenios colectivos que apuntan esta dirección. Un ejemplo es la siguiente cláusula: “Las partes firmantes del presente convenio se comprometen a realizar un uso transparente, razonado y ético de la inteligencia artificial, conforme a los criterios y reglas que se establezcan en la normativa de aplicación” (DA 4ª del III Convenio colectivo de ámbito estatal de la industria de producción audiovisual).

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

es_ESSpanish
Scroll al inicio