¿Qué se interpone entre el modelo y el daño mientras está en funcionamiento?
Baseline: 2Enhanced: 3Advanced: 16 controles
A quién se aplica
Se entra en cada sistema de IA. Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Coloca comprobaciones automáticas alrededor del modelo en operación, y mantenlas con la disciplina que dedicas a tus cortafuegos. Todo lo exigido hasta aquí actúa antes del despliegue; las barreras actúan en el momento, en cada petición, mientras el sistema funciona. Una barrera es una comprobación automática que inspecciona lo que entra en el modelo, lo que sale de él y lo que está a punto de hacer, y bloquea lo que no debe pasar. Las gobiernan dos reglas. La primera: son externas al modelo, porque una regla que el modelo se impone a sí mismo es una regla de la que un atacante puede disuadirlo. La segunda: se deterioran, porque el uso cambia, los ataques evolucionan y una barrera que nadie ha revisado en un año es un control solo de nombre. Configúralas deliberadamente, por capas, y ponlas en un ciclo de mantenimiento, exactamente como ya haces con las reglas de tus cortafuegos de red.
Qué hacer
Superpón tres clases de comprobación: a la entrada, a la salida y en el momento de actuar. A la entrada, inspecciona lo que llega al modelo —tanto la entrada del usuario como los documentos recuperados— en busca de instrucciones ocultas y de datos sensibles que no deberían enviársele en absoluto. A la salida, filtra lo que el modelo produce antes de que nadie lo vea o nada lo consuma: datos personales, credenciales, contenido tóxico y afirmaciones seguras sin fundamento. Y en el momento de actuar, para la IA que actúa, contrasta cada acción prevista con lo que a ese sistema se le permite hacer —la aplicación técnica de los límites de autonomía fijados en gobernanza— antes de que se ejecute, no después. Una capa es un badén; las tres juntas son un sistema de control, y los ataques que se cuelan por una los caza la siguiente.
Nunca dejes que el modelo sea su propia barrera. Una instrucción al modelo —«no reveles nunca X», «rechaza las peticiones de hacer Y»— es una petición a un sistema cuya propiedad definitoria es que se le puede persuadir. Toda propiedad de seguridad de la que de verdad dependas tiene que hacerla cumplir un mecanismo separado, fuera del modelo, que aguante incluso cuando al modelo lo hayan manipulado con éxito. Las instrucciones fijan el comportamiento que se pretende del modelo; las comprobaciones externas garantizan sus límites. Confundir ambas cosas es el fallo de barrera más común en la IA desplegada.
Revisa y ajusta las barreras en un ciclo, con cifras. Mide con qué frecuencia se activa cada comprobación, qué cazó y qué bloqueó por error. Una comprobación que nunca se activa o sobra o está rota: averigua cuál de las dos cosas. Una que bloquea constantemente trabajo legítimo acabará desactivada por las personas a las que estorba, y entonces no protege nada. Revisa el conjunto en un ciclo fijo y después de cada incidente, retirando, apretando y añadiendo comprobaciones según se mueva la realidad. Esta disciplina exacta ya la aplicas a las reglas de tu cortafuegos; extiéndela, sin cambios, a estas.
Decide ya qué pasa cuando una barrera se cae. Las comprobaciones fallan y las dependencias dejan de estar disponibles. Decide por sistema, por adelantado y por escrito, si entonces se detiene o continúa sin protección: un sistema cuyos errores pueden dañar a personas, al dinero o a los derechos se detiene —falla cerrado—; una comodidad de poco en juego puede continuar degradada —falla abierto—. Ambas opciones son legítimas; lo que no es legítimo es descubrir, durante la caída, que nadie lo decidió nunca.
Conoce la clase de mecanismo que necesita cada capa. A la entrada: un clasificador de inyección de instrucciones y un detector de datos personales. A la salida: un clasificador de salida para datos personales, credenciales y contenido tóxico, más una comprobación de fundamentación allí donde el sistema responde a partir de documentos. En el momento de actuar: una comprobación de política contra la lista de acciones permitidas. Existen implementaciones libres y comerciales de cada clase; muchas son funciones de la pasarela de IA o de la consola del proveedor.
Controles
Baseline2 controles
Control 118
Examina todo lo que llega al modelo, tanto la entrada de los usuarios como el contenido recuperado.
BaselinePreventivotodos los rolespor sistema
Qué es
Las instrucciones ocultas y los datos sensibles no permitidos por la política se interceptan a la entrada.
Cómo implantarlo · Reglas mínimas
Cubre toda vía de entrada al modelo: prompts de usuario, ficheros subidos, documentos recuperados, resultados de herramientas y de la web
Instrucciones ocultas: «ignora las instrucciones anteriores», juegos de rol para saltarse reglas, instrucciones en texto invisible o metadatos
Datos sensibles que no deben enviarse: números de identidad, cuentas y tarjetas, credenciales, datos de salud, documentos confidenciales
Acción: bloquea o enmascara, explica al usuario el motivo y registra el evento
Empieza por los filtros integrados del proveedor; añade un control propio donde no detecten tus datos sensibles
Cómo arrancar
Activa el filtrado de entrada de tu proveedor o plataforma y pruébalo con cinco frases de inyección conocidas y cinco muestras de tus datos sensibles.
Evidencia
La configuración del filtrado y el registro de entradas bloqueadas o enmascaradas.
Modo: ligero / estándar / completo
ligero
Apóyate en los filtros integrados del proveedor y que una persona nombrada revise cada mes el registro de entradas bloqueadas.
estándar
Una pasarela de IA aplica detectores de inyección y de datos personales a toda entrada, con eventos en el registro del sistema.
completo
Un servicio de salvaguardas dedicado, ajustado por sistema, filtra toda entrada y envía los eventos a la monitorización de seguridad.
Control 119
Filtra todo lo que produce el modelo antes de que se vea o se consuma.
BaselinePreventivotodos los rolespor sistema
Qué es
Los datos personales, las credenciales, el contenido tóxico y las afirmaciones sin fundamento se interceptan a la salida.
Cómo implantarlo · Reglas mínimas
Datos personales no destinados al receptor: números de identidad, datos de contacto y bancarios
Credenciales y secretos: contraseñas, claves de API y tokens, detectados por patrón
Contenido tóxico: acoso, odio, violencia, autolesiones, usando las categorías de contenido del proveedor
Afirmaciones sin respaldo: si responde a partir de tus documentos, exige fuente citada y marca las respuestas sin ella
Consumo por máquinas: valida el formato antes de que otro sistema use la salida (nada de órdenes donde se espera texto)
Acción: bloquea, enmascara o marca, y registra el evento
Cómo arrancar
Activa los filtros de salida del proveedor para datos personales, secretos y contenido tóxico, y prueba cada uno con unos pocos prompts pensados para dispararlo.
Evidencia
La configuración de los filtros de salida y el registro de salidas bloqueadas o enmascaradas.
Modo: ligero / estándar / completo
ligero
Usa los filtros de salida integrados del proveedor y que una persona nombrada revise su registro cada mes.
estándar
Una pasarela de IA aplica filtros de datos personales, secretos y toxicidad, más una comprobación de respaldo cuando se usan documentos.
completo
Un servicio de salvaguardas dedicado filtra todas las salidas y envía los eventos a la monitorización de seguridad.
Enhanced3 controles
Control 120
Comprueba cada acción prevista frente a los permisos del sistema antes de que se ejecute.
EnhancedPreventivotodos los rolespor sistema
Qué es
La aplicación en tiempo de ejecución de los límites de autonomía fijados en Gobernanza.
Cómo implantarlo · Reglas mínimas
Lista de acciones permitidas por sistema, según sus límites de autonomía: herramientas, operaciones (leer, crear, enviar, pagar, borrar), destinos e importes máximos
El control se ejecuta fuera del modelo, antes de la ejecución, en cada llamada a herramienta
Denegación por defecto: toda acción que no esté en la lista se bloquea
Las acciones que superan umbrales (importe, número de destinatarios, irreversibilidad) esperan aprobación humana
Registra cada acción prevista con su decisión: permitida, bloqueada o enviada a aprobación
Cómo arrancar
Redacta la lista de acciones permitidas de un sistema que actúa y configura su capa de herramientas para rechazar lo que quede fuera.
Evidencia
La lista de acciones permitidas, la configuración del control de acciones y el registro de decisiones.
Modo: ligero / estándar / completo
ligero
Usa los permisos de herramientas y confirmaciones de la plataforma, configurados desde una lista de una página del responsable del sistema.
estándar
Un control de políticas en la capa de integración o en la pasarela de IA aplica la lista de cada sistema.
completo
Un servicio central de políticas aplica las listas de acciones de todos los agentes y envía las decisiones a la monitorización de seguridad.
Control 121
Aplica fuera del modelo cada propiedad de seguridad de la que dependes.
EnhancedPreventivotodos los rolespor sistema
Qué es
Las instrucciones orientan al modelo; los mecanismos externos garantizan los límites.
Cómo implantarlo · Pasos
Relaciona cada propiedad de seguridad de la que depende el sistema (p. ej., nunca muestra datos de un cliente a otro, nunca envía pagos)
Para cada una, nombra el mecanismo externo que la impone: control de acceso, filtro de salida, control de acciones o acotación de datos
Retira secretos y credenciales de las instrucciones del sistema; apóyate en los controles de acceso
Prueba cada propiedad con el modelo manipulado a propósito; debe mantenerse
Registra como riesgo abierto, con responsable y plazo, toda propiedad que solo dependa de una instrucción
Cómo arrancar
Localiza cada «nunca» y «no» en las instrucciones del sistema y anota junto a cada uno el mecanismo externo que lo impone, si lo hay.
Evidencia
La tabla de propiedades y mecanismos y los resultados de las pruebas de manipulación.
Modo: ligero / estándar / completo
ligero
El responsable del sistema lleva la tabla en una hoja de cálculo y usa como mecanismos los ajustes de acceso y filtrado del proveedor.
estándar
La tabla forma parte del registro de diseño del sistema y se comprueba en cada publicación.
completo
El equipo de seguridad mantiene la tabla de todos los sistemas y verifica cada propiedad mediante pruebas adversariales.
Control 122
Revisa y ajusta el conjunto de salvaguardas con una periodicidad fija, usando los datos de activación.
EnhancedDetectivotodos los rolespor sistema
Qué es
Con registros de lo que se interceptó, lo que se bloqueó por error y lo que cambió como consecuencia.
Cómo implantarlo · Pasos
Recoge por control: número de activaciones, detecciones reales, bloqueos erróneos, quejas o anulaciones de usuarios
Investiga los controles que nunca se activan (innecesarios o rotos) y los que bloquean por error con frecuencia
Decide por control: mantener, endurecer, relajar, retirar o añadir uno nuevo, y anota el motivo
Revisa con un ciclo fijo (p. ej., trimestral) y tras cada incidente
Aplica los cambios, vuelve a probar los controles afectados y registra lo que cambió
Cómo arrancar
Extrae las activaciones del último trimestre de cada salvaguarda y celebra una revisión de una hora con el responsable del sistema.
Evidencia
Las estadísticas de activaciones y bloqueos erróneos, los registros de revisión y el registro de cambios.
Modo: ligero / estándar / completo
ligero
El responsable del sistema revisa cada trimestre las estadísticas de los filtros del proveedor y anota las decisiones en una hoja de cálculo.
estándar
El equipo de seguridad hace la revisión con las estadísticas de la pasarela y registra los cambios por el proceso de cambios.
completo
Un equipo de operación de salvaguardas sigue las estadísticas en un panel, revisa de forma continua y aplica un ciclo formal con conjuntos de reglas versionados.
Advanced1 controles
Control 123
Registra para cada sistema la decisión de fallo cerrado o fallo abierto.
AdvancedCorrectivotodos los rolespor sistema
Qué es
Tomada de antemano, acorde con lo que está en juego en el sistema y conocida por sus operadores.
Cómo implantarlo · Contenido mínimo
Sistema y cada salvaguarda o dependencia cuyo fallo importa
Decisión por fallo: cierre seguro (se detiene) o apertura (sigue degradado)
Justificación según lo que está en juego: posible daño a personas, dinero o derechos implica cierre seguro
Qué ven los usuarios y qué alternativa se aplica
A quién se avisa, quién puede anular la decisión y cómo se registra la anulación
Aprobador, fecha, próxima revisión y confirmación de que los operadores están informados
Cómo arrancar
Para cada sistema, responde «si cae el servicio de salvaguardas, ¿se detiene o sigue?» y haz que la respuesta se firme.
Evidencia
El registro firmado del modo de fallo por sistema y una prueba que muestre que el sistema se comporta como consta.
Modo: ligero / estándar / completo
ligero
La dirección firma una decisión de una línea por sistema en la hoja de cálculo del inventario de IA.
estándar
Las decisiones constan en el registro de diseño de cada sistema y se prueban antes de publicar.
completo
Los modos de fallo se imponen en la configuración de la pasarela, se prueban en ejercicios de resiliencia y se incluyen en la formación de operadores.
Evidencia
La configuración de las barreras por capa; las estadísticas de activaciones y de falsos positivos; los registros del ciclo de revisión y los cambios que produjo; las decisiones de modo de fallo para cada sistema.