Detecta cuándo la IA se comporta de forma incorrecta
¿Nos daríamos cuenta si el sistema empezara a producir disparates o a ser objeto de abuso?
Enhanced: 22 controles
A quién se aplica
Se entra en cada sistema de IA cuya letra es E o A (esta área no tiene controles Baseline). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Detecta las formas características en que la IA se comporta mal en el momento —afirmar falsedades con aplomo, negarse a lo que debería hacer, dejarse dirigir hacia el abuso—, porque no son los fallos que tu monitorización actual se construyó para cazar. Un sistema puede pasar todas las comprobaciones de disponibilidad y rendimiento mientras cuenta a los usuarios cosas sencillamente falsas, o mientras lo manipulan de forma sistemática. Vigila los comportamientos propios de cómo falla la IA, y no solo si está funcionando.
Qué hacer
Vigila la falsedad enunciada con aplomo y el comportamiento anómalo. Implanta comprobaciones para detectar que la IA afirma cosas falsas con aparente seguridad, salidas que caen fuera de los patrones esperados y señales de que al sistema lo están empujando hacia el uso indebido. Cuando lo que está en juego lo justifique, muestrea salidas para que las revisen personas capaces de distinguir lo correcto de lo verosímil.
Encamina lo que detectes a algún sitio que actúe. Una detección que no llega a nadie no cambia nada. Conecta estas señales con la detección de incidentes de más abajo, con el ajuste de barreras de seguridad técnica y con quienes supervisan, para que un mal comportamiento detectado se convierta en una corrección y no en una línea de registro.
Controles
Enhanced2 controles
Control 203
Monitoriza las falsedades afirmadas con seguridad, las salidas anómalas y los patrones de abuso.
EnhancedDetectivotodos los rolespor sistema
Qué es
Con revisión humana de muestras cuando lo que está en juego lo justifique.
Cómo implantarlo · Reglas mínimas
Falsedad con aplomo: muestras de resultados revisadas por alguien que conoce la materia; comprobación de que las fuentes y cifras citadas existen
Resultados anómalos: longitud, idioma, formato, tasa de rechazo o tema inusuales respecto a lo normal
Abuso: intentos repetidos de saltarse las instrucciones, de extraer instrucciones ocultas o datos, volumen inusual por usuario
Avisos de usuarios: una opción o canal de «esto es incorrecto» que alimenta la misma revisión
Tamaño y frecuencia de la muestra según el impacto, p. ej. 20 resultados semanales en usos de cara al cliente
Cómo arrancar
Inicia una revisión semanal de una pequeña muestra de resultados reales por alguien que conozca la materia y anota lo que encuentre.
Evidencia
Las reglas de vigilancia en vigor y los registros de las revisiones por muestreo.
Modo: ligero / estándar / completo
ligero
Una muestra manual semanal revisada por una persona entendida, con la vigilancia de abusos del proveedor activada.
estándar
Comprobaciones automáticas de anomalías y patrones de abuso, más revisión por muestreo a cargo del responsable del sistema.
completo
Vigilancia de comportamiento dedicada, con puntuación automática de resultados y un equipo experto de revisión.
Control 204
Canaliza las detecciones hacia la corrección.
EnhancedCorrectivotodos los rolespor sistema
Qué es
Hacia la gestión de incidentes, el ajuste de las salvaguardas y la supervisión humana.
Cómo implantarlo · Reglas mínimas
Cada tipo de detección tiene un destino: gestión de incidentes, ajuste de salvaguardas o los supervisores humanos
Regla de gravedad: qué detecciones abren un incidente en lugar de una tarea de ajuste
Cada detección derivada tiene responsable y plazo
El cierre registra qué se corrigió, no solo que se vio
Las detecciones recurrentes del mismo tipo activan una revisión de las salvaguardas
Cómo arrancar
Redacta una tabla breve de derivación para este sistema: cada tipo de detección, adónde va y quién se encarga de corregirla.
Evidencia
La tabla de derivación y registros de detecciones que dieron lugar a una corrección.
Modo: ligero / estándar / completo
ligero
Las detecciones se envían por correo al responsable designado y se siguen en una hoja de cálculo hasta su cierre.
estándar
Las detecciones generan incidencias asignadas por tipo en el sistema de tickets.
completo
Derivación automática a los equipos de incidentes, seguridad y supervisión, con tasas de cierre reportadas al gobierno.
Evidencia
La monitorización del comportamiento implantada; los registros de revisión por muestreo; la evidencia de que las detecciones condujeron a una corrección.