¿Hemos imaginado deliberadamente cómo podría atacarse o usarse indebidamente, antes de ponerlo en producción?
Enhanced: 33 controles
A quién se aplica
Se entra en cada sistema de IA cuya letra es E o A (esta área no tiene controles Baseline). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Antes de construir o desplegar, imagina de forma sistemática cómo se podría atacar, usar indebidamente o hacer fallar el sistema, en lugar de esperar a averiguarlo en producción. Ese ejercicio deliberado de pensar las formas en que un sistema puede volverse contra su propósito es barato antes de que el sistema exista y caro después. Complétalo imaginando los escenarios en los que el sistema podría causar daño incluso sin atacante —uso indebido, casos límite, consecuencias no buscadas— y planificando para ellos. La idea es encontrarte con el fallo primero sobre el papel.
Qué hacer
Recorre cómo se podría atacar y usar indebidamente el sistema, antes de construirlo. Considera de forma sistemática las maneras en que un atacante podría manipular, envenenar, extraer de o usar indebidamente el sistema —apoyándote en los patrones de ataque concretos de seguridad técnica— y diseña las defensas desde el principio. Encontrar una vía de ataque en una pizarra cuesta una reunión; encontrarla en producción cuesta un incidente.
Imagina los escenarios dañinos que no necesitan atacante. Planifica para las formas en que el sistema podría causar daño por uso indebido corriente, por entradas inusuales o por consecuencias no buscadas —los fallos que no llegan por malicia, sino porque el mundo es más variado de lo que el diseño supuso— y mitiga los que importen.
Controles
Enhanced3 controles
Control 224
Realiza un modelado de amenazas antes de construir o desplegar una IA significativa.
EnhancedPreventivotodos los rolespor sistema
Qué es
Las vías de ataque y de abuso se identifican y se contrarrestan en el diseño desde el principio.
Cómo implantarlo · Pasos
Dibuja el sistema: usuarios, entradas, modelo, almacenes de datos, herramientas conectadas, salidas y fronteras de confianza
Por componente, enumera vías de ataque: instrucciones inyectadas en entradas o documentos recuperados, envenenamiento de datos, extracción del modelo o de datos, abuso de herramientas y permisos
Valora cada vía por probabilidad e impacto
Decide la defensa a diseñar para cada vía relevante y añádela a los requisitos de diseño
Registra el resultado en el registro de amenazas del sistema; repítelo ante cambios significativos
Cómo arrancar
Organiza una sesión de pizarra de dos horas para el próximo sistema significativo con quien lo construye o configura, alguien de seguridad y el responsable de negocio.
Evidencia
El modelo de amenazas y las defensas que añadió a los requisitos de diseño.
Modo: ligero / estándar / completo
ligero
Quien configura y un asesor externo hacen una sesión y guardan una página.
estándar
El responsable lo dirige con seguridad usando una plantilla estándar.
completo
Arquitectura de seguridad lo hace en el diseño, con seguimiento de hallazgos.
Control 225
Planifica los escenarios dañinos que no requieren ningún atacante.
EnhancedPreventivotodos los rolespor sistema
Qué es
El uso indebido, los casos límite y las consecuencias no deseadas se anticipan y se mitigan.
Cómo implantarlo · Pasos
Uso indebido corriente: usuarios que confían en las salidas más allá de su finalidad o usan el sistema para tareas no aprobadas
Casos límite: entradas inusuales, otros idiomas, datos que faltan, colectivos poco representados en los datos
Consecuencias no deseadas: exceso de confianza de los revisores, personas excluidas por error, más carga para equipos posteriores
Valora cada escenario por probabilidad y gravedad y selecciona los relevantes
Fija una mitigación para cada uno: salvaguarda, guía al usuario, comprobación humana o señal de monitorización
Prueba los casos límite seleccionados antes del lanzamiento
Cómo arrancar
En la sesión de modelado de amenazas, dedica 30 minutos a una pregunta: ¿cómo podría esto dañar a alguien sin que nadie lo ataque?
Evidencia
El análisis de escenarios con las mitigaciones elegidas y los resultados de las pruebas de casos límite.
Modo: ligero / estándar / completo
ligero
La dirección y quien configura enumeran escenarios en una sesión, junto a las amenazas.
estándar
El responsable lo hace con usuarios y soporte y lo registra junto al modelo de amenazas.
completo
Revisión multidisciplinar con representantes de los afectados y seguimiento de mitigaciones.
Control 226
Mantén un registro de amenazas de IA por sistema.
EnhancedPreventivotodos los rolespor sistema
Qué es
Enumera las amenazas identificadas que se aplican al sistema e indica, para cada amenaza aplicable, el control del Dominio 2 que la trata. Una página en modo ligero.
Cómo implantarlo · Contenido mínimo
Nombre y responsable del sistema
Amenaza identificada: p. ej. inyección de instrucciones, envenenamiento de datos, extracción del modelo o de datos, permisos excesivos del agente, fuga de datos sensibles
Aplica: sí o no, con un motivo en una línea
Control que la trata: el control del Dominio 2, por identificador, para cada amenaza que aplica
Estado del control: implantado, previsto o carencia
Fecha de última revisión; revisión ante cualquier cambio de modelo, proveedor, datos o herramientas conectadas
Cómo arrancar
Toma las amenazas identificadas del catálogo de riesgos, marca cuáles aplican al sistema y anota junto a cada una el control del Dominio 2 que la trata.
Evidencia
El registro de amenazas vigente por sistema y la constancia de su última revisión.
Modo: ligero / estándar / completo
ligero
Una página con las amenazas que aplican y el control que trata cada una.
estándar
Plantilla compartida por sistema, mantenida por el responsable y revisada por seguridad.
completo
Registro mantenido por sistema en las herramientas de seguridad, revisado ante cada cambio.
Evidencia
Los modelos de amenazas y las defensas que motivaron; los análisis de escenarios dañinos y sus mitigaciones. El registro de amenazas de cada sistema y su revisión ante los cambios.