¿Podemos explicar el porqué a la persona afectada de una forma que realmente pueda entender?
Enhanced: 22 controles
A quién se aplica
Se entra en cada sistema de IA cuya letra es E o A (esta área no tiene controles Baseline). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Cuando una decisión de IA afecte a una persona, has de poder explicársela a esa persona, en sus términos y no en los del modelo. Una explicación que solo entendería alguien de ciencia de datos no es una explicación para el cliente al que se le denegó algo, para la candidata a la que se descartó o para el paciente cuya atención se vio condicionada; y en un número creciente de jurisdicciones las personas tienen derecho a una explicación significativa de una decisión tomada sobre ellas por medios automatizados, y derecho a impugnarla. Construye la capacidad de dar esa explicación antes de desplegar, porque no se le puede añadir a posteriori a una decisión ya tomada.
Qué hacer
Produce una explicación sobre la que la persona afectada pueda actuar. Dile cuáles fueron los factores principales que movieron el resultado, en lenguaje llano: no los pesos internos del modelo, sino las razones que una persona pueda entender, contrastar con lo que sabe e impugnar si están equivocadas. La prueba es si esa persona podría usar la explicación para impugnar la decisión; si no podría, todavía no es una explicación.
Preserva el derecho a impugnar, y encamínalo hacia una persona. Una explicación sin una forma de impugnarla es una cortesía, no una salvaguarda. Dale a la persona afectada una vía para impugnar la decisión y que la revise una persona competente, lo que conecta con el mecanismo de reparación del dominio de rendición de cuentas y con la supervisión humana de su propio dominio.
Controles
Enhanced2 controles
Control 167
Debes poder explicar a la persona afectada, en términos sencillos, cualquier decisión de la IA que le afecte.
EnhancedPreventivotodos los rolespor sistema
Qué es
Los principales factores determinantes, comprensibles y verificables por la persona afectada.
Cómo implantarlo · Estructura mínima
La decisión y el hecho de que intervino la IA
Los dos a cuatro factores principales que determinaron el resultado, en lenguaje llano
Los datos de la persona que se usaron, para que pueda comprobarlos
Qué habría cambiado el resultado, cuando pueda indicarse
Cómo impugnarla y llegar a un revisor humano
Antes de usarla: probada con algunos lectores no expertos capaces de explicar el porqué
Cómo arrancar
Redacta una plantilla de explicación para la decisión sobre personas más frecuente y pruébala con tres personas ajenas al equipo.
Evidencia
Las plantillas de explicación, muestras de explicaciones emitidas y las notas de la prueba de comprensión.
Modo: ligero / estándar / completo
ligero
El revisor redacta cada explicación a partir de la plantilla, con los criterios escritos y los factores anotados en la revisión.
estándar
El sistema devuelve sus factores principales por caso y el personal los traslada a la plantilla en lenguaje llano.
completo
Las explicaciones se generan por decisión a partir de los factores registrados, con controles de calidad por muestreo de un equipo dedicado.
Control 168
Ofrece una vía para impugnar una decisión y conseguir que una persona la revise.
EnhancedPreventivotodos los rolespor sistema
Qué es
Vinculada a la reparación y a la supervisión humana.
Cómo implantarlo · Pasos
Canal: un punto de contacto nominal (correo, formulario o teléfono) indicado en cada notificación de decisión
Entrada: registra cada impugnación con fecha, decisión afectada y motivos alegados
Revisión: por una persona competente que no tomó la decisión original y puede cambiarla
Plazo de respuesta: fijado y comunicado (p. ej. 30 días)
Resultado registrado y trasladado al mecanismo de reparación y a la revisión de supervisión del sistema
Cómo arrancar
Designa al revisor y el punto de contacto, inclúyelos en las notificaciones de decisión y abre un registro de impugnaciones.
Evidencia
El registro de impugnaciones con sus resultados y la identidad del revisor humano de cada caso.
Modo: ligero / estándar / completo
ligero
Un responsable designado atiende las impugnaciones desde un buzón compartido y las anota en una hoja de cálculo.
estándar
Un equipo de revisión designado resuelve las impugnaciones en plazo e informa de los resultados al responsable del sistema cada trimestre.
completo
Un flujo de gestión de casos dirige las impugnaciones a una función de revisión independiente y traslada las tendencias a la supervisión del sistema.
Evidencia
Explicaciones de muestra probadas para comprobar que las entiende una persona no experta; la vía de impugnación y los registros de su uso; la evidencia de que hay revisión humana cuando se impugna.