¿Refleja realmente nuestra explicación lo que hizo el sistema?
Advanced: 22 controles
A quién se aplica
Se entra en cada sistema de IA cuya letra es A (esta área solo tiene controles Advanced). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Verifica que las explicaciones que das son fieles, porque una explicación segura y verosímil que no refleja lo que el sistema hizo de verdad es peor que ninguna explicación: fabrica una falsa tranquilidad y engaña a quien se apoya en ella. Los sistemas de IA pueden generar explicaciones de su propio razonamiento que suenan convincentes y están sencillamente inventadas a posteriori. No presentes una explicación de la que no hayas comprobado que refleja la realidad.
Qué hacer
Valida que las explicaciones se corresponden con el comportamiento real del sistema. Allí donde des explicaciones —a usuarios, a personas afectadas, a quien audita—, confirma que se corresponden con lo que de verdad movió la salida, y que no son un relato verosímil producido por el sistema o por una herramienta. Una explicación que no has validado es una afirmación que no puedes sostener.
Prueba las explicaciones con el público que va a usarlas. Confirma que la explicación no solo es fiel, sino utilizable: que el público al que va dirigida —a menudo no experto— puede de verdad entenderla y actuar sobre ella. Fiel pero incomprensible es un fallo del mismo tipo.
Controles
Advanced2 controles
Control 171
Valida que las explicaciones proporcionadas reflejan el comportamiento real del sistema.
AdvancedDetectivotodos los rolespor sistema
Qué es
Ninguna explicación sin validar se presenta como un hecho.
Cómo implantarlo · Pasos
Toma una muestra de las explicaciones que cada sistema da a usuarios, personas afectadas y auditores
Prueba de perturbación: cambia o elimina el factor principal declarado y confirma que el resultado varía como sugiere la explicación
En las explicaciones que el modelo da sobre sí mismo, comprueba la coherencia entre ejecuciones repetidas y entradas reformuladas
Cuando el modelo lo permita, compara con un método de atribución independiente
Rechaza o corrige las explicaciones que fallen y registra el resultado
Repite ante cada cambio de modelo o de prompt
Cómo arrancar
Toma 20 explicaciones recientes de un sistema y comprueba si alterar el factor principal declarado cambia el resultado como se afirma.
Evidencia
El método de validación, los resultados por muestra y las explicaciones rechazadas o corregidas.
Modo: ligero / estándar / completo
ligero
Encarga la comprobación a un especialista una vez al año y tras los cambios de modelo; el responsable del sistema guarda los resultados.
estándar
El equipo de ciencia de datos ejecuta la validación sobre una muestra fija antes de cada versión y registra los fallos.
completo
Una función independiente de validación de modelos ejecuta pruebas automáticas de fidelidad en cada versión y bloquea formatos de explicación no validados.
Control 172
Comprueba que las explicaciones las entiende el público al que van dirigidas.
AdvancedDetectivotodos los rolespor sistema
Qué es
Se confirman tanto la fidelidad como la utilidad.
Cómo implantarlo · Pasos
Define el público de cada explicación: personas afectadas, personal, auditores
Recluta evaluadores parecidos a ese público (p. ej. 5–10 no expertos para explicaciones dirigidas a personas)
Pide a cada evaluador que diga por qué se tomó la decisión y qué impugnaría
Puntúa la proporción que reformula bien los factores principales frente a un umbral fijado (p. ej. 80 %)
Reescribe y vuelve a probar las explicaciones que no lo alcancen; registra cada ronda
Cómo arrancar
Muestra una explicación dirigida a personas a cinco personas ajenas al equipo y anota si cada una sabe decir por qué se tomó la decisión.
Evidencia
Los registros de las pruebas de comprensión, los umbrales y las revisiones hechas tras los fallos.
Modo: ligero / estándar / completo
ligero
Haz la prueba con algunos clientes o conocidos parecidos al público; el responsable del sistema registra los resultados.
estándar
El equipo de experiencia de cliente hace la prueba antes del lanzamiento y tras cambios de redacción.
completo
Una función de investigación de usuarios prueba cada formato de explicación con paneles representativos y sigue la comprensión en el tiempo.
Evidencia
El método de validación y sus resultados; las pruebas de comprensión con el público destinatario; los registros de las explicaciones rechazadas o revisadas por infieles o inservibles.