Equidad y no discriminación en los usos que afectan a personas
¿Podría este sistema tratar a las personas de forma distinta por ser quienes son, y nos daríamos cuenta?
Baseline: 7Enhanced: 2Advanced: 110 controles
A quién se aplica
Se entra solo en los sistemas que deciden sobre personas (B2). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Deja de tratar la equidad como un valor en la política y un punto del orden del día de un comité. La clase de daño por IA que más se reporta en las organizaciones pequeñas no requiere atacante ni sofisticación técnica: se le dan a un asistente unos cuantos resultados pasados como ejemplos y se le pide que ordene a personas nuevas, y reproduce lo que aquellos resultados tuvieran en común: las últimas cuatro contrataciones fueron hombres, así que las mujeres se descartan. Todos los controles de gobierno de este marco pueden estar implantados y esto seguir pasando, porque la persona del circuito está aprobando una ordenación que ya codifica el patrón, y nadie ha pedido que se busque ese patrón. Esta área existe para que lo busque quien opera la herramienta, sin ninguna estructura detrás. Se activa allí donde un uso puntúa, clasifica, selecciona o decide sobre personas, y su Baseline es deliberadamente alcanzable en unas horas.
Qué hacer
Pon los criterios por escrito antes de usar la IA, y mételos en la instrucción. Enuncia con palabras qué es una buena candidatura, una reclamación válida o una persona elegible, e instruye al sistema para que aplique esos criterios. Nunca le pidas que infiera los criterios a partir de ejemplos de quién fue elegido antes: los ejemplos de resultados pasados son un modelo de las decisiones pasadas, incluidos sus errores.
No le des decisiones pasadas sobre personas como ejemplos, o compruébalas antes. Cuando los ejemplos sean inevitables, comprueba que están equilibrados entre los grupos protegidos que puedas observar antes de usarlos. Una instrucción con unos pocos ejemplos construida a partir de un historial desequilibrado es un modelo desequilibrado.
Quita quién es la persona antes de que la IA la vea. Retira de la entrada los nombres, los marcadores de género, la edad, las fotografías, las direcciones y otros indicadores indirectos evidentes, con la barrera de prevención de fuga de datos del dominio 3, y no pidiendo a la plantilla que se acuerde. La IA no puede discriminar por lo que no recibe.
Haz la prueba de intercambio antes del primer uso real. La misma entrada, con el atributo protegido cambiado y nada más, debe producir la misma salida. Una diferencia es un fallo que bloquea el uso hasta que se corrijan los criterios. Repite la prueba cada vez que cambien el modelo o la instrucción.
Revisa las candidaturas descartadas, no solo las recomendadas. El sesgo de automatización se concentra en lo que el sistema no sacó a la luz. Quien revisa mira el final de la lista además del principio.
Cuenta los resultados por grupo, y trata una brecha como un hallazgo. Cada periodo, compara las tasas de selección o de aprobación entre los grupos que puedas observar. A falta de un umbral más concreto, usa la regla de los cuatro quintos (una tasa por debajo del 80 % de la del grupo más favorecido) como disparador de la investigación. Basta con una hoja de cálculo.
Díselo a las personas afectadas. Que se usó IA, qué criterios aplicó y cómo conseguir que una persona revise la decisión.
Mide la equidad como es debido en cuanto puedas. Para los sistemas cuyas salidas y cuyos grupos se pueden observar, calcula una métrica de equidad —paridad demográfica, igualdad de probabilidades o calibración, elegida para el caso de uso— sobre un conjunto de evaluación representativo antes del despliegue y sobre los resultados en operación; informa del rendimiento por grupo en la ficha del sistema; y registra la elección de la métrica como una decisión de compromiso del dominio 9, porque las métricas no se pueden satisfacer todas a la vez. En los sistemas basados en modelos de lenguaje, donde la atribución de características no tiene sentido, el equivalente son la prueba de intercambio y las tasas de resultado por grupo.
Mira también los grupos combinados. Un sistema puede tratar con equidad a las mujeres y a las personas mayores como grupos separados y aun así perjudicar a las mujeres mayores. Cuando el número de personas lo permita, calcula tasas y métricas para combinaciones de grupos, además de para cada grupo por separado.
Hazlo auditar de forma independiente cuando lo exijan lo que está en juego o la norma. Una auditoría independiente anual de cada sistema de alto riesgo que decide sobre personas, comparando resultados entre grupos, con un resumen publicado cuando se exija.
Controles
Baseline7 controles
Control 173
Redacta los criterios de decisión antes del uso y exprésalos explícitamente en el prompt o en la configuración.
BaselinePreventivotodos los rolespor sistemadecide sobre personas
Qué es
Nunca se pide a la IA que infiera los criterios a partir de resultados anteriores.
Cómo implantarlo · Estructura mínima
La decisión: qué se puntúa, ordena, selecciona o aprueba
Criterios por escrito: qué es un buen candidato, una reclamación válida o un solicitante elegible, separados en imprescindibles y deseables
Peso u orden de importancia entre criterios
Factores excluidos: atributos protegidos y todo lo que no guarde relación con la tarea
Prompt o configuración que recoge los criterios e indica a la IA que aplique solo esos, nunca que los deduzca de elecciones pasadas
Autor, aprobador, fecha y versión
Cómo arrancar
Antes del próximo uso, escribe los criterios en una página con la persona responsable de la decisión y pégalos en el prompt o la configuración.
Evidencia
Los criterios escritos y el prompt o configuración que los contiene.
Modo: ligero / estándar / completo
ligero
La persona que gestiona el proceso redacta la página y la guarda junto al prompt.
estándar
El responsable del proceso redacta los criterios y el responsable del sistema los configura, ambos versionados juntos.
completo
Los criterios los aprueban el responsable de negocio y el revisor de equidad, y se despliegan mediante configuración controlada.
Control 174
No proporciones como ejemplos decisiones anteriores sobre personas; cuando sea inevitable, comprueba primero su equilibrio entre los grupos protegidos.
BaselinePreventivotodos los rolespor sistemadecide sobre personas
Qué es
Los ejemplos desequilibrados se rechazan.
Cómo implantarlo · Pasos
Por defecto: no des ejemplos de decisiones pasadas sobre personas; apóyate en los criterios escritos
Si los ejemplos son inevitables, anota cada uno con los grupos protegidos observables (p. ej. sexo, tramo de edad)
Comprueba el equilibrio: cada grupo aparece en proporciones similares entre ejemplos aceptados y rechazados
Rechaza un conjunto desequilibrado: sustituye o retira ejemplos hasta equilibrarlo
Registra el conjunto usado, la comprobación de equilibrio y quién lo aprobó
Cómo arrancar
Abre el prompt o la configuración actual y retira cualquier ejemplo de contrataciones, aprobaciones o rechazos pasados.
Evidencia
Un prompt sin ejemplos de decisiones pasadas o la comprobación de equilibrio del conjunto en uso.
Modo: ligero / estándar / completo
ligero
La persona que gestiona el proceso revisa el prompt y, si se mantienen ejemplos, los cuenta por grupo en una hoja de cálculo.
estándar
El responsable del sistema hace la comprobación de equilibrio cada vez que cambian los ejemplos y el responsable del proceso aprueba el conjunto.
completo
Los conjuntos de ejemplos se versionan y se comprueba su equilibrio automáticamente; el revisor de equidad aprueba cualquier conjunto usado.
Control 175
Elimina de la entrada los atributos protegidos y sus variables sustitutivas evidentes antes de que llegue a la IA.
BaselinePreventivotodos los rolespor sistemadecide sobre personas
Qué es
Lo garantiza la barrera de prevención de fuga de datos (DLP) del Dominio 3, no una instrucción.
Cómo implantarlo · Reglas mínimas
Elimina: nombres, marcadores de sexo, edad y fecha de nacimiento, fotografías, nacionalidad, direcciones y códigos postales
Elimina los indicadores indirectos evidentes: estado civil, año de titulación, huecos por permisos parentales, afiliaciones que revelan identidad
Cubre los documentos subidos (currículos, formularios de solicitud) además del texto escrito
Aplicado por la frontera de prevención de fuga de datos o por el flujo de datos, no pidiéndoselo al personal
Excepciones solo cuando un atributo sea realmente necesario para la tarea, registradas con su motivo
Cómo arrancar
Enumera los campos y apartados de documentos que revelan quién es la persona y configura la frontera de prevención de fuga de datos o la exportación de entrada para eliminarlos.
Evidencia
Las reglas de eliminación de atributos protegidos y una muestra de entradas ya depuradas.
Modo: ligero / estándar / completo
ligero
Usa un formulario o exportación de entrada sin estos campos, junto con la función de ocultación integrada en la herramienta o en el navegador corporativo.
estándar
TI añade reglas de atributos protegidos a la política de prevención de fuga de datos para este sistema y el responsable del proceso revisa una muestra cada trimestre.
completo
Un paso de ocultación en el flujo de entrada elimina atributos e indicadores indirectos automáticamente, y el revisor de equidad lo prueba en cada cambio.
Control 176
Realiza una prueba de intercambio (swap test) antes del primer uso con personas reales y con cada cambio de modelo o de prompt.
BaselineDetectivotodos los rolespor sistemadecide sobre personas
Qué es
Una discrepancia bloquea el uso hasta que se resuelve; la prueba y su resultado quedan registrados.
Cómo implantarlo · Pasos
Elige 5–10 casos reales o realistas
Haz copias que solo difieran en un atributo protegido o indicador indirecto (un nombre que sugiera sexo u origen, edad, fotografía)
Pasa originales y copias por el mismo prompt y la misma versión del modelo
Compara: cualquier diferencia de puntuación, orden o decisión es un fallo
Si falla, bloquea el uso, corrige los criterios o la entrada y vuelve a probar
Registra los casos, resultados, veredicto y versiones de modelo y prompt; repite ante cada cambio de modelo o prompt
Cómo arrancar
Antes del primer uso real, crea copias emparejadas de cinco casos cambiando solo el nombre, pasa ambos conjuntos y compara los resultados.
Evidencia
El registro de la prueba de intercambio con casos, resultados, versiones y veredicto.
Modo: ligero / estándar / completo
ligero
La persona que gestiona el proceso hace la prueba a mano y guarda los resultados en una hoja de cálculo.
estándar
El responsable del sistema ejecuta un conjunto de prueba guardado en cada cambio de modelo o prompt y el responsable del proceso valida el resultado.
completo
La prueba de intercambio se ejecuta automáticamente en el flujo de liberación y bloquea el despliegue ante cualquier discrepancia.
Control 177
Revisa tanto lo rechazado como lo recomendado.
BaselineDetectivotodos los rolespor sistemadecide sobre personas
Qué es
El procedimiento de supervisión lo indica expresamente.
Cómo implantarlo · Reglas mínimas
El procedimiento de supervisión establece que los revisores examinan los casos rechazados y los peor clasificados, no solo los primeros
Muestra mínima: p. ej. al menos el 10 % de los rechazados, o todos cuando el volumen es pequeño
Los revisores contrastan cada rechazo de la muestra con los criterios escritos
Un rechazo que no se sostiene se revierte y se registra como hallazgo
Cada revisión registra fecha, casos revisados y casos revertidos
Cómo arrancar
Añade al procedimiento de supervisión una línea que exija revisar los casos rechazados y aplícala al próximo lote.
Evidencia
El procedimiento de supervisión que menciona la revisión de rechazados y los registros de cada revisión.
Modo: ligero / estándar / completo
ligero
Quien decide lee el final de la lista además del principio antes de confirmar y lo anota en el expediente.
estándar
Un segundo revisor examina una muestra de rechazados en cada lote y registra las reversiones para el responsable del proceso.
completo
Un equipo de calidad revisa muestras de rechazos en todos los sistemas que afectan a personas e informa de las tasas de reversión a la supervisión.
Control 178
Comprueba en cada periodo las tasas de selección o aprobación entre los grupos observables, usando la regla de los cuatro quintos como umbral de activación por defecto.
BaselineDetectivotodos los rolespor sistemadecide sobre personas
Qué es
Una brecha es un hallazgo con responsable.
Cómo implantarlo · Pasos
Fija el periodo: p. ej. cada trimestre o cada ronda de selección
Registra cada decisión con su resultado y el grupo observable (p. ej. sexo, tramo de edad)
Calcula la tasa de selección o aprobación por grupo
Compara la tasa de cada grupo con la del grupo más favorecido: por debajo del 80 % se investiga
Registra cada diferencia como hallazgo con responsable y fecha límite
Conserva el cálculo de cada periodo como evidencia
Cómo arrancar
Prepara una hoja de cálculo con una fila por decisión (grupo, resultado) y haz el primer cálculo con las decisiones del último periodo.
Evidencia
Los cálculos periódicos de tasas y los hallazgos derivados.
Modo: ligero / estándar / completo
ligero
La persona que gestiona el proceso actualiza la hoja de cálculo y hace el cálculo cada trimestre.
estándar
El responsable del proceso hace la comprobación cada periodo e informa de los hallazgos al responsable del sistema.
completo
Las tasas se calculan automáticamente a partir de los registros de decisiones y las diferencias se elevan como hallazgos al revisor de equidad.
Control 179
Informa a las personas afectadas de que se usó IA, de qué criterios aplicó y de cómo obtener una revisión humana.
BaselinePreventivotodos los rolespor sistemadecide sobre personas
Qué es
En todos los canales por los que se comunica la decisión.
Cómo implantarlo · Estructura mínima
Que se usó IA y en qué parte de la decisión
Los criterios que aplicó, en palabras sencillas
Cómo obtener revisión humana: contacto, plazo para pedirla, qué ocurre después
Incluido en todos los canales en que se comunica la decisión: carta, correo, portal, guion telefónico
Redacción a cargo del responsable del proceso y actualizada cada vez que cambian los criterios
Cómo arrancar
Redacta un párrafo estándar breve con estos elementos y añádelo a todas las plantillas con que se comunica la decisión.
Evidencia
El texto del aviso y las plantillas de comunicación que lo incluyen.
Modo: ligero / estándar / completo
ligero
La persona que gestiona el proceso añade el párrafo a sus plantillas de carta y correo.
estándar
El responsable del proceso mantiene el aviso y el equipo de comunicación comprueba que todos los canales lo usan.
completo
El aviso se gestiona de forma centralizada en la plataforma de comunicaciones y se inserta automáticamente en todos los canales.
Enhanced2 controles
Control 180
Calcula métricas de equidad sobre un conjunto de evaluación representativo antes del despliegue y sobre los resultados en funcionamiento, e informa del rendimiento por grupo.
EnhancedDetectivotodos los rolespor sistemadecide sobre personas
Qué es
La métrica se elige para el caso de uso y se registra en el Dominio 9, Dimensión 6.
Cómo implantarlo · Pasos
Elige la métrica para el caso de uso (paridad demográfica, igualdad de probabilidades o calibración) y registra la elección de compromiso en el Dominio 9, Dimensión 6
Construye un conjunto de evaluación representativo con etiquetas de grupo
Antes del despliegue, calcula la métrica por grupo y por grupos combinados cuando el número lo permita
En operación, calcúlala sobre los resultados reales en cada periodo
Informa del rendimiento por grupo en la ficha del sistema
En sistemas basados en modelos de lenguaje, usa como equivalente la prueba de intercambio y las tasas de resultados por grupo
Cómo arrancar
Elige la métrica para el sistema con más consecuencias sobre personas, registra por qué y calcúlala sobre un conjunto de evaluación etiquetado antes de su próxima versión.
Evidencia
El registro de elección de métrica, los resultados por grupo antes del despliegue y en operación, y la sección de la ficha.
Modo: ligero / estándar / completo
ligero
Encarga el cálculo a un especialista o usa los resultados por grupo del proveedor cuando cubran tu uso.
estándar
El equipo de ciencia de datos calcula las métricas antes de cada versión y cada trimestre en operación e informa al responsable del sistema.
completo
Una función de monitorización de equidad calcula las métricas de forma continua sobre resultados reales y alerta cuando se superan los umbrales.
Control 181
Aplica técnicas de mitigación de sesgos cuando las métricas muestren sesgos no deseados, y vuelve a medir.
EnhancedCorrectivotodos los rolespor sistemadecide sobre personas
Qué es
Se corrigen los datos, el modelo o el umbral de decisión; la compensación con la exactitud queda registrada.
Cómo implantarlo · Pasos
Diagnostica el origen del sesgo: datos desequilibrados, comportamiento del modelo o umbral de decisión
Elige la corrección: reequilibrar o reponderar los datos, ajustar el modelo o el prompt, o ajustar el umbral de decisión
Vuelve a medir con la misma métrica y el mismo conjunto de evaluación
Registra el cambio en precisión frente a la mejora en equidad como decisión de compromiso
Aprueba antes de volver a desplegar y repite la prueba de intercambio
Cómo arrancar
Toma la mayor diferencia detectada por las métricas, identifica si procede de los datos, del modelo o del umbral y prueba una corrección sobre el conjunto de evaluación.
Evidencia
Los registros de mitigación con métricas de antes y después y el compromiso de precisión registrado.
Modo: ligero / estándar / completo
ligero
Pide al proveedor o a un especialista contratado que aplique la corrección y guarda los resultados de antes y después.
estándar
El equipo de ciencia de datos aplica la corrección y vuelve a medir, y el responsable del sistema aprueba el compromiso.
completo
Una función de ingeniería de equidad mantiene un manual de mitigación y el comité de gobierno aprueba los compromisos relevantes.
Advanced1 controles
Control 182
Encarga una auditoría de sesgos independiente, repetida anualmente, para los sistemas de alto riesgo que afectan a personas.
AdvancedDetectivotodos los rolespor sistemadecide sobre personas
Qué es
Un auditor independiente del sistema compara entre grupos las ratios de selección o de impacto; el resumen se publica cuando así se exige.
Cómo implantarlo · Pasos
Alcance: cada sistema de alto riesgo que decide sobre personas
Auditor: externo, o auditoría interna independiente del equipo que construye u opera el sistema
Entradas: resultados por grupo del periodo, criterios escritos, configuración y hallazgos anteriores
Análisis: ratios de selección o de impacto comparados entre grupos, incluidos grupos combinados cuando el número lo permita
Informe: hallazgos con responsables de corrección; resumen publicado cuando se exija
Repetición cada año
Cómo arrancar
Enumera los sistemas de alto riesgo que afectan a personas y contrata un auditor independiente para el primero, facilitándole un año de resultados por grupo.
Evidencia
Los informes de auditoría, el seguimiento de las correcciones y cualquier resumen publicado.
Modo: ligero / estándar / completo
ligero
Una auditoría anual encargada del único sistema, o la auditoría del proveedor cuando la herramienta no se ha modificado y la auditoría cubre tu uso.
estándar
Se contrata cada año un auditor externo por sistema de alto riesgo y el responsable del sistema sigue las correcciones.
completo
Auditoría interna gestiona el programa en todos los sistemas de alto riesgo y recurre a auditores externos cuando la independencia o la especialización lo exigen.
Evidencia
Los criterios escritos y la instrucción o la configuración; las comprobaciones del equilibrio de los ejemplos; la política de prevención de fuga de datos aplicada a los atributos protegidos; los registros de las pruebas de intercambio; el procedimiento de supervisión que incluya la revisión de los descartes; las comprobaciones periódicas de las tasas; los avisos a las personas afectadas; los informes de métricas y los registros de mitigación; los informes de auditoría.
Modo ligero
Cómo lo cumple una organización pequeña.
Prueba de intercambio más una comprobación trimestral de tasas en una hoja de cálculo, conservada como evidencia; una auditoría anual encargada para ese único sistema, o la auditoría del proveedor cuando la herramienta no esté modificada y la auditoría cubra tu uso.