Área 2.8

Operaciones de seguridad de la IA y respuesta a incidentes

¿Podemos detectar un ataque contra la IA y recuperarnos cuando se produzca?

Enhanced: 3Advanced: 2 5 controles

A quién se aplica

Se entra en cada sistema de IA cuya letra es E o A (esta área no tiene controles Baseline). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.

Por qué existe

Da por supuesto que algunos ataques pasarán, y construye hoy para ese día, porque las dos capacidades que deciden cuán grave llega a ser no se pueden improvisar: ver el ataque y sacar el modelo. Todo lo anterior de este dominio reduce tu exposición; nada la elimina. Lo que separa un incidente de IA contenido de uno prolongado es si tu equipo de seguridad pudo ver el ataque en los sistemas que ya vigila, y si pudiste retirar el modelo —rápido y limpiamente— en cuanto lo supiste. Los equipos descubren en mitad de un incidente que no pueden hacer ninguna de las dos cosas: la actividad de la IA nunca se conectó a la monitorización, y no hay una forma probada de volver al modelo anterior. Conéctala, y construye el camino de vuelta, antes de necesitar cualquiera de las dos.

Qué hacer

Envía la actividad de la IA a quienes vigilan los ataques. Lo que registran tus sistemas de IA —las peticiones que reciben, las comprobaciones que se activan, la secuencia de acciones que ejecuta un agente— es telemetría de seguridad, y su sitio está en la monitorización que tu equipo de seguridad ya opera, junto a los eventos de red y de sistema que vigila hoy. Un intento de manipulación, una ráfaga de peticiones de sondeo, un agente que de pronto actúa fuera de patrón: cada uno es un evento detectable, pero solo si los datos llegan al sitio donde alguien está mirando. La telemetría que se queda dentro de la plataforma de IA no protege a nadie.
Escribe detecciones para los ataques que la IA recibe de verdad. Las reglas de alerta que ejecuta hoy tu equipo de seguridad se escribieron para intrusiones de red y programas maliciosos; ninguna se disparará ante un ataque de instrucciones ocultas, ante un intento sistemático de extraer un modelo o ante un agente cuya secuencia de acciones se ha vuelto anómala. Añade reglas de detección para los patrones de ataque a la IA que tus despliegues exponen de verdad —los mismos patrones que sondean tus pruebas de vulnerabilidad— para que la monitorización vea lo que las pruebas anticiparon.
Construye y ensaya el camino de vuelta: reversión y botón de parada. Cuando resulte que un modelo está comprometido, envenenado o filtrando, tendrás que actuar en minutos: volver a la versión fijada anterior (lo que tu disciplina de versiones del área de arquitectura hace posible), retirar el modelo de la lista aprobada para que nada más lo despliegue y revocar las credenciales de cualquier agente implicado. Construye estas capacidades con buen tiempo y ensáyalas, porque una reversión intentada por primera vez durante un incidente es un segundo incidente.
Haz que el repliegue sostenga el negocio, no que solo detenga el modelo. Un botón de parada que retira la IA y deja el proceso muerto no se usará: quien lo tenga dudará, y la duda es el daño. Empareja cada botón de parada con el repliegue de continuidad que definiste en el programa de seguridad de gobernanza: la vía manual, el sistema anterior, el modo degradado pero funcional al que vuelve el proceso. Y prueba el propio repliegue, no solo el interruptor: el interruptor es fácil; lo que falla es el aterrizaje.
Sigue atacándote a ti mismo, con calendario. Encarga ejercicios recurrentes en los que personas expertas ataquen tu IA desplegada con permiso: el programa que exige el área de seguridad de la gobernanza. Encamina lo que encuentren hacia las detecciones de arriba, hacia el ajuste de barreras de este dominio y hacia el proceso de riesgos: un ejercicio que no cambia nada fue una función. Los ataques contra la IA evolucionan de forma continua; una defensa revisada una vez al año defiende el año pasado.

Controles

Enhanced 3 controles

Control 136

Incorpora la actividad de la IA a la monitorización de seguridad que ya gestionas.

EnhancedDetectivotodos los rolespor sistema

Qué es

Las solicitudes, las comprobaciones activadas y las secuencias de acciones de los agentes llegan a donde están quienes vigilan.

Cómo implantarlo · Contenido mínimo

Peticiones: hora, identidad del llamante, sistema, versión del modelo, tamaño; contenido solo si tus normas de datos lo permiten
Eventos de salvaguardas: qué control se activó y qué acción se tomó
Acciones de agentes: herramienta llamada, parámetros, decisión del control de acciones, resultado, identificador de secuencia
Eventos de administración: cambios de configuración, uso de claves, cambios de permisos
Eventos de límites de uso y de gasto
Enviados a la monitorización de seguridad existente casi en tiempo real y conservados como el resto de registros de seguridad

Cómo arrancar

Averigua cuáles de estos registros produce ya tu plataforma de IA y conecta primero los eventos de salvaguardas a tu monitorización de seguridad.

Evidencia

La configuración de la integración con la monitorización y eventos de IA de muestra tal como llegan a ella.

Modo: ligero / estándar / completo

ligero: Exporta los registros de auditoría y uso de la consola del proveedor al servicio de monitorización que ya usas o contratas.
estándar: La pasarela de IA reenvía todos los eventos a la plataforma central de registros que vigila el equipo de seguridad.
completo: Todos los sistemas de IA envían eventos estructurados al centro de operaciones de seguridad.

Control 137

Gestiona reglas de detección para los patrones de ataque específicos de la IA.

EnhancedDetectivotodos los rolespor sistema

Qué es

Las instrucciones ocultas, los intentos de extracción y el comportamiento anómalo de los agentes generan alertas.

Cómo implantarlo · Reglas mínimas

Instrucciones ocultas: activaciones repetidas del control de inyección desde un mismo llamante o documento de origen
Sondeo: ráfagas de peticiones bloqueadas, variantes del mismo intento de evasión, intentos de extraer las instrucciones del sistema
Extracción: consultas sistemáticas de gran volumen desde una identidad o un grupo coordinado
Comportamiento anómalo de agentes: acciones denegadas, secuencias, destinos u horarios inusuales
Fuga: activaciones del filtro de salida por datos personales o credenciales
Cada regla tiene gravedad, responsable y paso de respuesta, y se prueba simulando el patrón

Cómo arrancar

Redacta primero tres reglas (activaciones repetidas de inyección, ráfagas de peticiones bloqueadas, acciones de agente denegadas) y prueba cada una simulando el patrón.

Evidencia

Las reglas de detección, sus resultados de prueba y los registros de alertas y respuesta.

Modo: ligero / estándar / completo

ligero: Un servicio de monitorización contratado aplica las reglas, o se activan las alertas integradas del proveedor dirigidas a una persona nombrada.
estándar: El equipo de seguridad redacta y mantiene las reglas en su monitorización actual, a partir de las pruebas de vulnerabilidad.
completo: Un equipo de ingeniería de detección mantiene las reglas de IA y las ajusta con los resultados de los ejercicios.

Control 138

Mantén un manual de respuesta a incidentes de IA que incluya la reversión y la revocación de credenciales.

EnhancedCorrectivotodos los rolespor sistema

Qué es

Lo ejecuta el equipo multidisciplinar definido en el programa de seguridad de Gobernanza.

Cómo implantarlo · Estructura mínima

Desencadenantes y gravedad: compromiso, envenenamiento, fuga de datos, salida dañina, agente fuera de control
Funciones: el equipo transversal del programa de seguridad de Gobernanza, con contactos y suplentes
Contención: restringe o desactiva el sistema y pasa a la alternativa
Reversión: vuelve a la versión anterior fijada y retira el modelo afectado de la lista aprobada
Revocación de credenciales: claves de agentes, integraciones y proveedor, con rotación
Notificación, preservación de evidencias y revisión posterior al incidente

Cómo arrancar

Redacta un procedimiento de dos páginas para tu sistema de IA de mayor riesgo y repásalo con el equipo en un simulacro de mesa de una hora.

Evidencia

El procedimiento aprobado y los registros de simulacros e incidentes reales gestionados con él.

Modo: ligero / estándar / completo

ligero: Un procedimiento de dos páginas que custodia la persona que lidera la IA; en servicios usados tal como se entregan, revertir significa cortar el acceso y contactar con el proveedor.
estándar: El procedimiento es un anexo del proceso de incidentes existente, lo ejecuta el equipo de incidentes con los responsables de IA localizables.
completo: Procedimientos de IA en la biblioteca del centro de operaciones de seguridad, parcialmente automatizados y ensayados.

Advanced 2 controles

Control 139

Construye y ensaya el interruptor de emergencia del modelo junto con su alternativa de continuidad de negocio.

AdvancedCorrectivotodos los rolespor sistema

Qué es

Reversión a la versión anterior fijada y a la vía alternativa probada, ejercitadas y con los tiempos registrados.

Cómo implantarlo · Pasos

Define el interruptor: quién puede accionarlo, la acción única que lo dispara y qué desactiva
Define la reversión: la versión anterior fijada y cómo volver a desplegarla
Define la alternativa: proceso manual, sistema anterior o modo degradado, y quién la opera
Ensaya con un calendario fijo: acciona el interruptor, revierte y opera el proceso con la alternativa
Registra tiempos (hasta parar, hasta revertir, hasta que la alternativa funciona) frente a objetivos; corrige y repite

Cómo arrancar

Programa un ensayo en una franja tranquila y mide cuánto se tarda en parar el modelo y en tener el proceso funcionando con la alternativa.

Evidencia

Los registros de ensayo con tiempos, las carencias detectadas y las correcciones hechas.

Modo: ligero / estándar / completo

ligero: La dirección y quien gestiona la IA ensayan apagar el servicio y trabajar a mano, y anotan los tiempos en una hoja de cálculo.
estándar: Operaciones y el responsable de negocio ensayan juntos reversión y alternativa, e informan de los resultados a la dirección.
completo: Interruptor y reversión están automatizados y se ensayan en ejercicios de continuidad con objetivos formales de recuperación.

Control 140

Ejecuta el programa recurrente de ejercicios adversariales contra la IA desplegada.

AdvancedDetectivotodos los rolespor sistema

Qué es

Los hallazgos se dirigen a las detecciones, a las salvaguardas y al proceso de riesgos.

Cómo implantarlo · Pasos

Delimita cada ejercicio: sistemas, tipos de ataque (instrucciones ocultas, extracción, fuga de datos, abuso de agentes), reglas de actuación
Usa evaluadores con permiso escrito, internos o contratados
Fija la periodicidad por sistema según lo que está en juego y añade un ejercicio tras cambios importantes
Califica cada hallazgo y asígnale responsable y plazo
Lleva cada hallazgo a una regla de detección, un cambio de salvaguarda o una entrada de riesgo, y síguelo hasta su cierre

Cómo arrancar

Contrata un primer ejercicio sobre tu sistema desplegado de mayor riesgo, con alcance escrito y permiso firmado.

Evidencia

Los informes de los ejercicios y el registro de las detecciones, cambios de salvaguardas y entradas de riesgo que generaron.

Modo: ligero / estándar / completo

ligero: Un especialista contratado realiza un ejercicio acotado y quien lidera la IA sigue los hallazgos en una hoja de cálculo.
estándar: El equipo de seguridad planifica un programa anual que combina pruebas internas y contratadas, con hallazgos en el registro de riesgos.
completo: Un equipo adversarial propio mantiene un programa continuo cuyos hallazgos alimentan directamente la ingeniería de detección y el ajuste de salvaguardas.

Evidencia

La integración con la monitorización y sus reglas de detección; los registros de alertas y de respuesta; el manual de incidentes; los registros de los ensayos de reversión y de repliegue, con sus tiempos; los informes de los ejercicios y los cambios que produjeron.