Área 2.5

Seguridad de la canalización de datos y de la recuperación

¿Pueden manipularse los datos que alimentan el modelo, o pueden leerlos las personas equivocadas?

Baseline: 1Enhanced: 5Advanced: 2 8 controles

A quién se aplica

Se entra solo en los sistemas que integráis, configuráis o entrenáis (B1). Algunos de sus controles solo aplican si entrenáis o adaptáis el modelo (B1), y uno de ellos solo si además actúa por su cuenta (B3). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.

Por qué existe

Protege el recorrido de los datos, no solo el modelo, porque quien pueda tocar aquello de lo que el modelo aprende, o aquello que consulta, no necesita tocar el modelo en absoluto. Muchos sistemas de IA responden consultando primero: antes de contestar, miran en una colección preparada de tus propios documentos —políticas, manuales, expedientes— para que sus respuestas reflejen tu organización en vez de conocimiento genérico. Esa fontanería, que suele llamarse recuperación de información, pasa a formar parte en silencio de tu perímetro de seguridad el día que la activas: quien pueda añadir o alterar un documento en la colección consultada está, desde ese momento, moldeando lo que tu IA le cuenta a tu gente y a tus clientes. La misma lógica se aplica aguas arriba, a los datos que entrenan o adaptan un modelo. Custodia el recorrido con la misma seriedad que el modelo al que alimenta.

Qué hacer

Controla quién puede escribir en todo aquello que consulta la IA. Si un atacante —o un compañero descuidado— puede colocar un documento en la colección de la que tu IA saca las respuestas, puede dirigir esas respuestas, o plantar las instrucciones ocultas que describe el área de vulnerabilidades, para todo usuario que haga la pregunta equivocada. Gobierna el acceso de escritura a las colecciones consultadas con la disciplina que aplicas a una base de datos de producción: acceso nominativo, revisado y registrado. Una base de conocimiento que cualquiera puede alimentar es un motor de respuestas que cualquiera puede envenenar.
Trata los documentos recuperados como contenido no confiable, aunque sean tuyos. Residir en tu propio repositorio no santifica a un documento: puede haber llegado por correo, haberlo subido un cliente o haberlo editado alguien con mala intención, y cualquier instrucción oculta en él se dispara cuando la IA lo lee. Pasa el contenido recuperado por la misma revisión protectora que aplicas a la entrada de los usuarios (las barreras del área siguiente) antes de que llegue al modelo. «Venía de nuestro propio sistema» es la forma en que esta clase de ataque triunfa.
Verifica que los datos de un cliente nunca pueden aparecer en las respuestas de otro. Cuando un almacén de datos que sirve a la IA es compartido —entre clientes, unidades de negocio o niveles de clasificación—, obtén prueba positiva de la separación: demuestra, mediante pruebas, que las consultas de un cliente no pueden recuperar contenido de otro. En almacenes compartidos como los que usa la recuperación de la IA, los fallos de separación son silenciosos —no se cae nada; simplemente aparece el dato equivocado en la respuesta equivocada— y, cuando se nota una filtración así, suele llevar tiempo ocurriendo.
Conserva la trazabilidad del origen de los datos de entrenamiento, para que la contaminación se pueda rastrear. Para cada conjunto de datos usado para entrenar o adaptar un modelo, registra de dónde vino, cómo se transformó y a qué modelos alimentó, conectado con la lista de componentes del inventario de gobernanza. El día en que se descubra que un conjunto de datos está envenenado, mal etiquetado o tiene un origen ilícito —y en el panorama actual ese día llega—, la trazabilidad es la diferencia entre un arreglo dirigido y reconstruirlo todo por sospecha.

Controles

Baseline 1 controles

Control 110

Mantén separados los datos de entrenamiento, de validación y de prueba.

BaselinePreventivodesarrollador (developer)por sistema

Qué es

La partición se fija y se documenta antes del entrenamiento, para que la evaluación mida el modelo y no su memoria de la prueba.

Cómo implantarlo · Reglas mínimas

Fija la partición antes del primer entrenamiento: proporciones, método (aleatorio, por fecha, por cliente) y semilla
Parte por la unidad que podría filtrarse: un mismo cliente, documento o periodo nunca aparece en dos conjuntos
Elimina registros duplicados o casi duplicados entre conjuntos antes de congelar la partición
Bloquea el conjunto de prueba: nunca se usa para ajustar parámetros, elegir variables ni fijar umbrales
Guarda cada conjunto con versión y suma de verificación, vinculado a la versión del modelo entrenado con él

Cómo arrancar

Antes del próximo entrenamiento, documenta la partición actual y comprueba que ningún registro está a la vez en entrenamiento y en prueba.

Evidencia

La partición documentada de cada modelo, con las versiones de los conjuntos y el resultado de la comprobación de duplicados.

Modo: ligero / estándar / completo

ligero: Quien entrena el modelo anota partición, semilla y sumas de verificación en una hoja de cálculo.
estándar: Un script versionado genera la partición y su registro se guarda con cada entrenamiento.
completo: La plataforma impone la partición y el equipo de evaluación custodia el conjunto de prueba con acceso separado.

Enhanced 5 controles

Control 111

Gobierna el acceso de escritura a cada colección que consulta la IA.

EnhancedPreventivointegrador o desarrollador (deployer+)por sistema

Qué es

Acceso nominal, revisado y registrado; las incorporaciones a las colecciones consultadas son cambios controlados.

Cómo implantarlo · Reglas mínimas

Relaciona cada colección que consulta la IA (bibliotecas de documentos, carpetas, bases de datos, fuentes web), con un responsable nominal
Concede escritura solo a personas o cuentas de servicio nominales; nada de permisos compartidos, públicos o para «todos»
Trata cada alta o edición como un cambio controlado: quién, qué, cuándo y quién lo aprobó
Lleva lo subido por clientes o recibido por correo a una zona de espera, nunca directamente a la colección
Registra toda escritura y revisa los permisos cada trimestre y cuando alguien cambia de puesto o se va

Cómo arrancar

Exporta los permisos de escritura actuales de cada colección consultada y elimina cualquier acceso anónimo o de grupos amplios.

Evidencia

La lista de permisos por colección, el registro de escrituras y las revisiones de acceso fechadas.

Modo: ligero / estándar / completo

ligero: El responsable de la colección limita la escritura en los ajustes de compartición y anota una revisión trimestral en una hoja de cálculo.
estándar: La escritura se concede por el proceso de solicitud de accesos y los cambios siguen el proceso de cambios.
completo: El equipo de identidades gestiona el acceso por grupos con recertificación automática; las escrituras van a la monitorización de seguridad.

Control 112

Examina el contenido recuperado antes de que llegue al modelo.

EnhancedPreventivointegrador o desarrollador (deployer+)por sistema

Qué es

Las mismas comprobaciones de protección que se aplican a la entrada de los usuarios se aplican a tus propios documentos.

Cómo implantarlo · Reglas mínimas

Pasa cada fragmento recuperado por los controles de entrada de los prompts de usuario antes de que llegue al modelo
Instrucciones ocultas: texto dirigido al modelo, texto invisible o blanco sobre blanco, instrucciones en metadatos o comentarios
Datos sensibles que no deben llegar al modelo: datos personales, credenciales, documentos marcados como confidenciales
Marca en el prompt el texto recuperado como material citado, separado de las instrucciones del propio sistema
Acción: descarta o enmascara el fragmento, registra el evento con su documento de origen y avisa al responsable de la colección

Cómo arrancar

Aplica el filtrado de entrada que ya tienes a una muestra de fragmentos recuperados de cada colección y revisa lo que marca.

Evidencia

La configuración del filtrado en la ruta de recuperación y su registro de eventos.

Modo: ligero / estándar / completo

ligero: Activa el filtrado de contenido recuperado que ofrece la propia plataforma de IA y revisa su registro cada mes.
estándar: El contenido recuperado pasa por los mismos controles de pasarela que la entrada de usuario.
completo: Un servicio de filtrado dedicado cubre todas las rutas de recuperación y rastrea el origen de los documentos marcados.

Control 113

Demuestra mediante pruebas la separación entre inquilinos en los almacenes compartidos.

EnhancedDetectivointegrador o desarrollador (deployer+)por sistema

Qué es

Verificación positiva, repetida cuando cambian el almacén o su configuración.

Cómo implantarlo · Pasos

Identifica cada almacén compartido de la IA y su frontera: cliente, unidad de negocio o nivel de clasificación
Siembra un registro testigo único (una frase inventada y reconocible) en el contenido de cada inquilino
Desde la identidad de cada inquilino, busca los testigos de los demás: texto exacto, paráfrasis y consultas amplias
Confirma que el filtro por inquilino lo aplica el almacén o el servicio de recuperación, no una instrucción al modelo
Supera la prueba solo con cero cruces; cualquier cruce bloquea la puesta en producción y se trata como incidente
Repítela con cada cambio del almacén, su índice, el modelo de vectorización o la configuración de accesos

Cómo arrancar

Siembra un documento testigo por inquilino e intenta recuperarlo con la sesión de otro.

Evidencia

El plan de prueba, la lista de testigos y los resultados fechados de cada ejecución.

Modo: ligero / estándar / completo

ligero: Quien configuró el almacén ejecuta la prueba a mano y anota los resultados en una hoja de cálculo.
estándar: Un script ejecuta la prueba como paso obligatorio de cada cambio del almacén.
completo: La prueba corre automáticamente al publicar y periódicamente en producción; los fallos alertan a la monitorización de seguridad.

Control 114

Elabora y mantén un estándar de seguridad escrito para la recuperación, con una lista de comprobación para la puesta en producción.

EnhancedPreventivointegrador o desarrollador (deployer+)por sistema

Qué es

Abarca quién puede escribir en las colecciones consultadas, cómo se examina el contenido recuperado, cómo se demuestra la separación entre inquilinos y qué debe cumplir un sistema de recuperación antes de que se le permita servir respuestas.

Cómo implantarlo · Estructura mínima

Alcance: los sistemas de recuperación y las colecciones consultadas que cubre
Acceso de escritura: quién puede añadir o cambiar contenido, aprobación y reglas de registro
Filtrado: los controles que pasa el contenido recuperado antes de llegar al modelo
Separación de inquilinos: cuándo se exige y cómo se demuestra con pruebas
Lista de puesta en producción: responsable nombrado, permisos revisados, filtrado activo, prueba de separación superada, registro activo, firma
Responsable, revisión anual y vía para excepciones

Cómo arrancar

Redacta primero la lista de puesta en producción y aplícala al sistema de recuperación más próximo a su lanzamiento; construye la norma a partir de lo que revele.

Evidencia

La norma aprobada y una lista completada y firmada por cada sistema de recuperación.

Modo: ligero / estándar / completo

ligero: Una norma de dos páginas y una lista de una página que custodia quien lidera el uso de IA, aprobadas por la dirección.
estándar: La norma forma parte del conjunto de políticas de seguridad y la lista es un paso obligatorio del proceso de publicación.
completo: El equipo de arquitectura de seguridad es dueño de la norma y los puntos de la lista se verifican automáticamente antes de publicar cuando es posible.

Control 117

Protege y valida la memoria y los almacenes de estado de los agentes, y trata su contenido como no fiable.

EnhancedPreventivointegrador o desarrollador (deployer+)por sistemaactúa por su cuenta

Qué es

La memoria que persiste entre sesiones es un objetivo de envenenamiento al que no llegan los controles de recuperación; las escrituras se controlan y el contenido se examina cuando se vuelve a leer.

Cómo implantarlo · Reglas mínimas

Relaciona cada almacén que un agente conserva entre sesiones: memoria de conversación, notas, ficheros, bases de datos de estado
Escritura solo por la identidad del propio agente y administradores nominales; la sesión de un usuario nunca escribe en la memoria de otro
Acota la memoria por usuario o inquilino; memoria compartida solo por decisión registrada
Filtra el contenido de la memoria al releerlo con los mismos controles que la entrada de usuario y el contenido recuperado
Caduca las entradas tras un plazo fijado y permite inspeccionar y borrar cualquier entrada
Registra cada escritura con su sesión de origen; alerta cuando lo almacenado contenga instrucciones

Cómo arrancar

Relaciona qué recuerda cada agente entre sesiones y dónde se guarda, y activa el filtrado de entrada al releer la memoria.

Evidencia

La configuración de acceso y filtrado de cada almacén de memoria de agente.

Modo: ligero / estándar / completo

ligero: Usa los ajustes de la plataforma de agentes: memoria por usuario, retención corta y filtro de contenido integrado.
estándar: La memoria está tras los mismos controles de acceso y filtrado que la recuperación.
completo: Los almacenes de memoria se gestionan como datos de producción, con las escrituras en la monitorización de seguridad.

Advanced 2 controles

Control 115

Registra el linaje de todos los datos de entrenamiento y adaptación.

AdvancedPreventivodesarrollador (developer)por sistema

Qué es

Origen, transformación y modelos de destino, vinculados a la lista de materiales.

Cómo implantarlo · Contenido mínimo

Identificador, versión y suma de verificación del conjunto de datos
Origen: procedencia, proveedor o método de recogida, licencia o base jurídica, fecha de obtención
Transformaciones: limpieza, filtrado, etiquetado, ampliación, con versión del script y quién las ejecutó
Destino: cada modelo y versión de modelo entrenado o adaptado con él
Enlace a la entrada de la lista de materiales de cada modelo
Estado e incidencias conocidas: aprobado, restringido o retirado, y por qué

Cómo arrancar

Toma el modelo en producción entrenado o adaptado más recientemente y reconstruye en este registro el linaje de sus datos.

Evidencia

Los registros de linaje, vinculados a la lista de materiales de cada modelo.

Modo: ligero / estándar / completo

ligero: Quien entrena los modelos lleva un registro de linaje en una hoja de cálculo y lo actualiza en cada entrenamiento.
estándar: Los scripts de entrenamiento escriben el linaje automáticamente y lo guardan con las versiones de los datos.
completo: La plataforma de datos captura el linaje de extremo a extremo, de modo que «¿qué modelos usaron este conjunto?» se responde con una consulta.

Control 116

Detecta el envenenamiento en la ingesta de datos.

AdvancedDetectivointegrador o desarrollador (deployer+)por sistema

Qué es

Comprobaciones automatizadas de lo que entra en los conjuntos de entrenamiento y en las colecciones consultadas, ajustadas a lo que está en juego en el despliegue.

Cómo implantarlo · Reglas mínimas

Cubre todo lo que entra en conjuntos de entrenamiento y en colecciones consultadas
Origen: rechaza contenido de fuentes no aprobadas o no autenticadas
Contenido: instrucciones ocultas, texto invisible, inserciones repetidas casi idénticas, muestras muy alejadas de la distribución normal
Etiquetas (datos de entrenamiento): cambios en el equilibrio de etiquetas, etiquetas contradictorias en muestras casi idénticas
Volumen: picos repentinos de una sola fuente o contribuidor
Acción: cuarentena, aviso al responsable de los datos y decisión registrada; umbrales según lo que está en juego

Cómo arrancar

Perfila un mes normal de datos ingeridos (fuentes, volúmenes, equilibrio de etiquetas) para fijar referencias y activa alertas ante desviaciones.

Evidencia

La configuración de los controles de ingesta y los informes de elementos marcados y en cuarentena.

Modo: ligero / estándar / completo

ligero: Usa los controles de ingesta de la plataforma o un servicio contratado; el responsable de los datos revisa lo marcado cada semana.
estándar: Controles programados en el flujo de ingesta bloquean lo marcado hasta que el responsable de los datos lo libera.
completo: Un equipo de calidad de datos aplica detectores estadísticos y de contenido a cada ingesta.

Evidencia

Las particiones de datos documentadas para cada modelo; los registros de acceso a las colecciones consultadas; la configuración de revisión del contenido recuperado; los resultados de las pruebas de separación entre clientes; los registros de trazabilidad del origen; los informes de comprobación de la ingesta. La norma de seguridad de la recuperación y su lista de verificación previa a la puesta en marcha. La configuración de acceso y revisión de los almacenes de memoria de los agentes.