¿Quién es el responsable de la seguridad de la IA como programa, y qué ocurre cuando se ignora?
Baseline: 1Enhanced: 5Advanced: 17 controles
A quién se aplica
Se entra una sola vez, para toda la organización. Llega hasta donde alcance la letra de tu organización, e implántalo en tu modo.
Por qué existe
Dale a la seguridad de la IA un responsable, un presupuesto y consecuencias, o acepta que solo se practicará en las semanas siguientes a cada incidente. El trabajo técnico de proteger la IA —la fortificación, las pruebas, las defensas en ejecución— se especifica en el dominio de seguridad técnica; lo que esta área exige es el programa permanente que garantiza que ese trabajo se hace: que quienes construyen IA están formados para atacarla, que los sistemas desplegados se ejercitan contra adversarios reales según un calendario, que existe una salida ensayada para cuando haya que retirar un modelo, y que saltarse cualquiera de estas cosas tiene un precio. Una práctica de seguridad sin un programa detrás es un conjunto de buenas intenciones con fecha de caducidad.
Qué hacer
Forma a quienes construyen IA para atacarla, no solo a quienes la usan. Dale a tus ingenieros y a tus especialistas de datos formación específica de su rol sobre cómo se ataca realmente a los sistemas de IA: instrucciones ocultas en el contenido que un sistema lee, envenenamiento de los datos de los que aprende o que consulta, extracción del modelo o de sus datos de entrenamiento, y abuso de los poderes que se le hayan concedido a un sistema autónomo. Son las únicas personas en posición de eliminar esos ataques por diseño antes del lanzamiento, y no pueden eliminar lo que nunca han visto. (La formación general de concienciación para todos los demás vive en el área de competencia; esta es la capa de quien construye, y es más profunda.)
Ejercita la IA desplegada contra adversarios reales, con calendario, y trata los hallazgos como asuntos de gobierno. Encarga ejercicios recurrentes en los que atacantes expertos intenten, con permiso, romper tu IA desplegada: manipularla, extraer de ella o abusar de sus poderes. Hazlos con una cadencia fija, no como una prueba puntual, porque los ataques evolucionan de forma continua y un resultado limpio del año pasado certifica el año pasado. Encamina cada hallazgo al proceso de riesgos y a la compuerta de puesta en marcha: un ejercicio cuyos hallazgos no cambian decisiones fue teatro. La ejecución técnica de estos ejercicios se especifica en el dominio de seguridad técnica; aquí se exige su existencia, su calendario y su consecuencia.
Construye el equipo de incidentes de IA antes del primer incidente de IA. Cuando un sistema de IA falla o es atacado, los equipos de respuesta habituales no bastan. Define, ahora, un equipo que añada: a las personas que conocen los datos con los que se construyó el sistema y saben leer un comportamiento anómalo por lo que es; a la función de privacidad, porque los incidentes de IA implican datos personales con mucha frecuencia y los deberes que de ahí se derivan; y a una persona nombrada responsable de la dimensión ética —el impacto sobre las personas afectadas—, que en los incidentes de IA es a menudo la dimensión mayor. Un equipo que se define durante el incidente es un equipo improvisando.
Decide por adelantado cómo retirarías una IA de un proceso sin detener el negocio. Para cada proceso que dependa de IA, responde a dos preguntas antes de necesitarlas: ¿cómo retiramos la IA, rápido, limpiamente y del todo?, y ¿a qué repliega el proceso mientras no está? Una vía manual, un sistema anterior, un modo degradado pero funcional. Un botón de parada que detiene el modelo y con él el negocio no es un control que nadie se atreva a usar; diseña la desconexión para que se pueda accionar de verdad, y ensaya el repliegue para saber que aguanta. (El interruptor técnico se construye en seguridad técnica; la decisión de continuidad —qué hace el negocio a continuación— se gobierna aquí.)
Pon consecuencias a saltarse el gobierno. Define, y comunica, qué ocurre cuando alguien despliega IA fuera del registro, desactiva una comprobación de seguridad o se salta una compuerta de puesta en marcha: la misma vía de escalado y disciplinaria que se aplica a cualquier otra violación grave de un control. Esto no es afán de castigo: es reconocer que una regla sin consecuencia es una sugerencia, y que la adopción de IA se mueve demasiado deprisa para gobernarse con sugerencias. Hacer cumplir una vez, de forma visible y justa, hace más por el cumplimiento que cualquier cantidad de política escrita.
Mantén una vigilancia permanente del deterioro. Los modelos se degradan a medida que el mundo con el que se entrenaron se aleja de ellos, y las comprobaciones de seguridad se pudren según evolucionan el uso y los ataques a su alrededor. Exige que ambas cosas se monitoricen de forma continua —calidad, precisión, robustez y salud de las comprobaciones automáticas— y que los resultados lleguen al responsable de este programa en un ciclo fijo. La telemetría en sí se opera desde seguridad técnica y desde el dominio de monitorización; lo que se posee aquí es la garantía de que alguien está vigilando, y la autoridad para actuar cuando la vigilancia reporte deterioro.
Controles
Baseline1 controles
Control 73
Define y comunica las consecuencias de eludir la gobernanza de la IA.
BaselinePreventivotodos los rolestoda la organización
Qué es
El despliegue sin registro, la desactivación de comprobaciones de seguridad y el salto de compuertas conllevan cada uno una consecuencia declarada y aplicada.
Cómo implantarlo · Estructura mínima
Infracciones: desplegar IA fuera del registro, desactivar un control de seguridad, saltarse una puerta de puesta en producción
Consecuencia: la misma vía de escalado y disciplinaria que otras infracciones graves de controles, graduada según intención y daño
Distinción: declarar una herramienta por el canal de registro no conlleva culpa; ocultarla sí
Quién decide y cómo se registra cada caso
Comunicado en la política de IA, la formación básica y la acogida
Cómo arrancar
Añade a la política de IA una sección de consecuencias que remita a tu procedimiento disciplinario vigente y comunícala a todo el personal.
Evidencia
La sección de la política, el registro de su comunicación y el registro de cada caso tratado.
Modo: ligero / estándar / completo
ligero
La gerencia añade un párrafo breve a la política y lo explica en una reunión de personal.
estándar
Recursos Humanos y el responsable de IA alinean la sección con el procedimiento disciplinario y tratan los casos juntos.
completo
Recursos Humanos, el área jurídica y la función de gobierno la aplican de forma coherente e informan al comité de los casos de forma agregada.
Enhanced5 controles
Control 74
Establece el programa de seguridad de la IA con un responsable designado y un presupuesto.
EnhancedPreventivotodos los rolestoda la organización
Qué es
Un programa permanente, no un proyecto; su responsable informa a los órganos de gobierno.
Cómo implantarlo · Estructura mínima
Responsable designado con autoridad para actuar, que informa a los órganos de gobierno en un ciclo fijo
Alcance: formación de quienes construyen, ejercicios adversarios, equipo de incidentes, desconexión y alternativa, vigilancia del deterioro, régimen de consecuencias
Presupuesto anual que cubra personas, ejercicios, formación y herramientas
Plan anual con hitos e indicadores que se elevan
Carácter permanente: no ligado a un proyecto; carta revisada cada año
Cómo arrancar
Redacta una carta de una página con el responsable, el alcance y el presupuesto del primer año, y haz que la apruebe el comité.
Evidencia
La carta aprobada, la partida presupuestaria y los informes del responsable a los órganos de gobierno.
Modo: ligero / estándar / completo
ligero
Una persona designada asume el papel a tiempo parcial con un presupuesto reducido, en buena parte para servicios contratados.
estándar
El responsable de seguridad dirige el programa con una partida propia e informa al comité.
completo
Una función de seguridad de IA dedicada, con equipo y presupuesto propios, informa al comité y a la función de riesgos.
Control 75
Imparte formación centrada en ataques a todas las personas que construyen o adaptan IA.
EnhancedPreventivotodos los rolestoda la organización
Qué es
Se completa antes del trabajo de desarrollo y se actualiza a medida que evoluciona el panorama de ataques.
Cómo implantarlo · Estructura mínima
Público: todas las personas que construyen, adaptan o integran IA, incluidos ingenieros y especialistas en datos
Instrucciones ocultas en el contenido que lee el sistema
Envenenamiento de los datos con los que el sistema aprende o que consulta
Extracción del modelo o de sus datos de entrenamiento; abuso de los poderes concedidos a un agente
Ejercicios prácticos contra un sistema de prueba
Completada antes del trabajo de construcción; actualizada al menos cada año y cuando surjan nuevas técnicas de ataque
Cómo arrancar
Enumera a todas las personas que construyen o adaptan IA y programa una sesión práctica sobre los cuatro tipos de ataque antes de que empiece el próximo proyecto.
Evidencia
La lista de quienes construyen con fechas de finalización y actualización.
Modo: ligero / estándar / completo
ligero
Un especialista contratado imparte un taller de media jornada a los desarrolladores o al integrador.
estándar
El equipo de seguridad imparte el curso y el responsable de ingeniería controla la finalización.
completo
Un itinerario con laboratorios, gestionado por la función de seguridad de IA, exigido antes de acceder a los entornos de construcción.
Control 76
Constituye de antemano el equipo multidisciplinar de incidentes de IA.
EnhancedCorrectivotodos los rolestoda la organización
Qué es
Composición definida que incluye la rendición de cuentas en materia de datos, privacidad y ética; vías de contacto probadas.
Cómo implantarlo · Estructura mínima
Personas de respuesta del proceso de incidentes existente, más el responsable del sistema afectado
Un especialista en datos o modelos que sepa interpretar un comportamiento anómalo
La función de privacidad o el contacto de protección de datos
Una persona designada responsable de la dimensión ética: el impacto en las personas afectadas
Jurídico y comunicación; cada miembro con suplente y facultades de decisión definidas
Vías de contacto probadas al menos dos veces al año; un ejercicio de mesa al año
Cómo arrancar
Nombra a los miembros y suplentes, inclúyelos en el plan de respuesta a incidentes y prueba la lista de contactos.
Evidencia
La definición del equipo, la lista de contactos y los registros de las pruebas.
Modo: ligero / estándar / completo
ligero
Una lista breve de personas designadas, incluido el proveedor o integrador externo, con los teléfonos probados.
estándar
El equipo de incidentes de seguridad añade los roles de IA y hace un ejercicio de mesa anual.
completo
Una célula permanente de incidentes de IA dentro de la organización de respuesta, con guardias y ejercicios periódicos.
Control 77
Mantén y ensaya una política de desconexión segura con una alternativa de continuidad de negocio para cada proceso dependiente.
EnhancedCorrectivotodos los rolestoda la organización
Qué es
La alternativa se ejercita; no se da por supuesta.
Cómo implantarlo · Estructura mínima
Proceso cubierto y cómo depende de la IA
Retirada: quién decide, pasos, tiempo objetivo y qué se desactiva (modelo, integraciones, permisos del agente)
Alternativa: vía manual, sistema anterior o modo degradado; quién la opera y con qué capacidad
Trabajo en curso y comunicación: qué ocurre con lo pendiente y a quién se avisa
Ensayo al menos una vez al año por proceso, registrando el tiempo empleado y los problemas detectados
Cómo arrancar
Elige el proceso que más depende de la IA, redacta su plan de desconexión y alternativa de una página y ensáyalo.
Evidencia
El plan de cada proceso dependiente y los registros de los ensayos.
Modo: ligero / estándar / completo
ligero
La gerencia redacta un plan de una página por proceso y hace un simulacro breve una vez al año.
estándar
Los responsables de proceso redactan los planes con Informática y los ensayan dentro de las pruebas de continuidad de negocio.
completo
Los planes se integran en el programa de continuidad de negocio y se ensayan según calendario, con informe de resultados.
Control 78
Supervisa la deriva y el deterioro de las comprobaciones de seguridad con un ciclo de información fijo.
EnhancedDetectivotodos los rolestoda la organización
Qué es
Los hallazgos de deterioro tienen un responsable y un plazo, como cualquier otro riesgo.
Cómo implantarlo · Reglas mínimas
Vigila calidad, exactitud, robustez y el estado de los controles de seguridad automáticos de cada sistema
Define por sistema los umbrales que se consideran deterioro
Informa al responsable del programa en un ciclo fijo, p. ej. mensual
Cada hallazgo de deterioro tiene responsable y plazo en el registro de riesgos
Escala los hallazgos vencidos a los órganos de gobierno
Cómo arrancar
Acuerda con cada responsable de sistema qué se considera deterioro y establece un informe mensual al responsable del programa.
Evidencia
Los informes de cada ciclo y los hallazgos de deterioro con responsables y plazos.
Modo: ligero / estándar / completo
ligero
El responsable del sistema revisa cada mes una muestra de resultados y los avisos de calidad del proveedor, e informa en una nota breve.
estándar
Los responsables informan cada mes de los resultados de la monitorización y el responsable del programa sigue los hallazgos.
completo
Los datos de monitorización llegan automáticamente al cuadro de mando del programa, con alertas e integración en el registro de riesgos.
Advanced1 controles
Control 79
Ejecuta el programa de ejercicios adversariales según un calendario gobernado.
AdvancedDetectivotodos los rolestoda la organización
Qué es
Recurrente, centrado en los sistemas desplegados, y con los hallazgos dirigidos a riesgos y a la compuerta de puesta en producción.
Cómo implantarlo · Pasos
Delimita los sistemas desplegados y ordénalos por exposición y criticidad
Fija un calendario, p. ej. anual para sistemas críticos y antes de versiones importantes
Acuerda por escrito las reglas de actuación: autorización, alcance, límites y momento
Quienes prueban intentan manipulación, extracción y abuso de poderes
Lleva cada hallazgo al proceso de riesgos y a la puerta de puesta en producción, con responsable, plazo y nueva prueba
Cómo arrancar
Fija un calendario de ejercicios a doce meses, empezando por tu sistema desplegado más expuesto, y contrata el primer ejercicio.
Evidencia
El calendario, los informes de los ejercicios, los hallazgos y las decisiones que cambiaron.
Modo: ligero / estándar / completo
ligero
Contrata cada año a un especialista externo para un ejercicio acotado sobre el sistema expuesto.
estándar
El equipo de seguridad realiza los ejercicios con apoyo externo para los sistemas críticos.
completo
Un equipo adversario interno mantiene un programa continuo, complementado con evaluadores externos.
Evidencia
La carta del programa, su responsable y su presupuesto; los registros de formación de quienes construyen; la definición del equipo de incidentes y los registros de sus pruebas; las políticas de desconexión y la evidencia de los ensayos de repliegue; los registros de cumplimiento; el calendario de ejercicios, sus hallazgos y las decisiones que cambiaron.