El marco

Diez dominios, cincuenta y siete áreas de control y doscientos cuarenta y un controles, navegables. Cada área responde a una pregunta clave.

Dominio 1 Gobernanza de la IA

Este dominio establece las estructuras, las decisiones y las responsabilidades que debes implantar para supervisar todo uso de IA en tu organización, tanto si la compras como si la incorporas o la construyes. Recorre sus once áreas en el orden que te exija tu situación, no necesariamente en el orden escrito: cada una te dice qué establecer, por qué te protege y qué evidencia demuestra que existe. Cada control lleva una etiqueta de nivel —[Baseline] para el mínimo que debe tener cualquier organización, [Enhanced] para las organizaciones con más exposición o más capacidad, [Advanced] para quienes construyen IA u operan en entornos críticos— y los niveles se acumulan: cada uno añade al anterior. Qué controles te aplican lo deciden tu rol (qué controles te conciernen) y la criticidad de cada uso junto con las normas que te obligan (hasta dónde llegan); tu tamaño solo decide cómo los implantas. Nada de esto es cuestión de preferencia.

  1. 1.1 Estrategia y dirección ¿Por qué usamos la IA? B 3E 4A 1
  2. 1.2 Roles y responsabilidades ¿Quién decide qué? B 2E 3A 1
  3. 1.3 Comité de IA ¿Quién supervisa la IA? E 5A 1
  4. 1.4 Inventario de sistemas de IA ¿Qué IA existe en nuestra organización, incluida la que no sabíamos que teníamos? B 4E 4A 2
  5. 1.5 Ciclo de vida y decisiones ¿Cómo se aprueba una IA? B 2E 4A 1
  6. 1.6 Aprovisionamiento y gestión de terceros ¿Debemos desarrollar o comprar, y quién controla a nuestros proveedores de IA? B 4E 5A 1
  7. 1.7 Competencia y concienciación ¿Sabe la organización cómo usar la IA? B 3E 3A 1
  8. 1.8 Supervisión e informes ¿Cómo sabemos que está funcionando? B 1E 4A 1
  9. 1.9 Propiedad intelectual, procedencia y titularidad de los resultados ¿De quién es lo que entra y lo que sale? B 3E 2A 2
  10. 1.10 Reversibilidad y autonomía permitida Si la IA se equivoca, ¿podemos deshacerlo, y cuánta autonomía justifica eso? B 3E 2
  11. 1.11 Programa de seguridad de la IA ¿Quién es el responsable de la seguridad de la IA como programa, y qué ocurre cuando se ignora? B 1E 5A 1
Qué añade cada nivel

En Baseline, toda organización, por pequeña que sea, implanta:

  • Una política de IA de una página, basada en valores, con líneas rojas sobre datos y sobre autonomía, una regla de divulgación de la interacción con IA y la disciplina de documentar los procesos antes de automatizarlos.
  • Un inventario único de toda la IA —incluida la IA incorporada en software comprado— con una persona propietaria para cada sistema.
  • Una decisión registrada de construir o comprar y un cuestionario escrito de diligencia debida para cada proveedor de IA.
  • Una clasificación de reversibilidad para toda IA que actúa, con una persona en el circuito para cada acción irreversible.
  • Una política de titularidad de las salidas, la prohibición de introducir material confidencial en herramientas no aprobadas y unas consecuencias declaradas por saltarse el gobierno.
  • Formación básica obligatoria —que cubra la falsedad enunciada con aplomo, la protección de datos y el exceso de confianza— y una aprobación explícita antes de cualquier despliegue.

En Enhanced, las organizaciones con exposición o capacidad reales añaden:

  • Un comité de IA formal con recursos humanos y la persona responsable de protección de datos en la mesa, revisión del impacto en la plantilla, mapas de partes interesadas y una matriz de responsabilidades completa.
  • Fichas de encargo de cada iniciativa con sus límites de fuera de alcance explícitos, un entorno de experimentación autorizado y la aprobación de varias partes para los sistemas de alto riesgo.
  • Contratos que prohíban entrenar con tus datos, declaren dónde se tratan, te avisen de los cambios de modelo y pongan precio a la salida.
  • Seguimiento del origen y la licencia de las fuentes de entrenamiento y de las colecciones consultadas, etiquetas de régimen en los activos y reglas de ciclo de vida de los datos que alcancen a los almacenes derivados.
  • Un programa de seguridad de la IA con responsable y presupuesto: formación de quienes construyen, un equipo de incidentes de IA, supervisión del deterioro y una política de desconexión con repliegue, ensayada.
  • Un conjunto de indicadores accionables, con informes en un ciclo fijo al comité, a riesgos y al consejo, y la situación normativa medida de forma continua.

En Advanced, las organizaciones grandes y quienes construyen IA añaden además:

  • Gobierno federado entre unidades de negocio, con supervisión automatizada y continua y descubrimiento de la IA en la sombra.
  • Listas de componentes de todo lo que se construye o se adapta, y revisión de las salidas incorporadas a un producto en busca de material reproducido.
  • Un programa planificado de ejercicios adversarios y auditorías independientes periódicas.
  • Integración plena del riesgo de IA en la gestión de riesgos corporativa, con informe al consejo como punto fijo del orden del día.

Dominio 2 Seguridad técnica

Protege la IA que ejecutas frente a los fallos que la seguridad informática de siempre nunca se diseñó para detectar. Los sistemas de IA fallan, y son atacados, de maneras que no se dan en el software convencional: se les puede convencer de que te desobedezcan mediante instrucciones ocultas en el contenido que leen; los datos de los que aprenden o que consultan se pueden envenenar para dirigir sus respuestas; los poderes que concedes a un sistema autónomo se pueden volver contra ti; su salida puede llevar un ataque a lo que sea que la consuma; y el proveedor puede cambiarte el modelo por debajo y alterar en silencio un comportamiento que habías probado y aprobado. Este dominio te dice cómo fortificar cada componente de IA, probarlo frente a los ataques que de verdad ocurren, acotarlo mientras funciona y recuperarte cuando algo se cuela. Se apoya en el inventario y en la propiedad que estableciste en el dominio de gobernanza; no los repite. Allí donde un concepto es inevitablemente técnico, se explica en términos llanos la primera vez que aparece, porque quien aprueba estos controles no siempre es quien los implanta. Cada control lleva su etiqueta de nivel, y los niveles se acumulan como en todos los dominios.

  1. 2.1 Arquitectura de IA segura y bastionado de modelos ¿Qué se nos permite ejecutar y cómo se blinda? B 3E 4A 2
  2. 2.2 Identidad, acceso y secretos para la IA ¿En nombre de quién, y de qué, puede actuar la IA? B 3E 4A 2
  3. 2.3 Evaluación de vulnerabilidades específicas de la IA ¿Qué puede romper esta IA que no rompería un software corriente? E 5A 1
  4. 2.4 Robustez adversarial e integridad del modelo ¿Cómo se comporta el modelo ante un ataque deliberado, y podemos fiarnos del archivo de modelo que hemos cargado? B 1E 1A 4
  5. 2.5 Seguridad de la canalización de datos y de la recuperación ¿Pueden manipularse los datos que alimentan el modelo, o pueden leerlos las personas equivocadas? B 1E 5A 2
  6. 2.6 Salvaguardas en tiempo de ejecución ¿Qué se interpone entre el modelo y el daño mientras está en funcionamiento? B 2E 3A 1
  7. 2.7 Ciclo de vida de desarrollo seguro para la IA ¿Es nuestra forma de construir y desplegar IA segura por construcción? B 3E 6A 3
  8. 2.8 Operaciones de seguridad de la IA y respuesta a incidentes ¿Podemos detectar un ataque contra la IA y recuperarnos cuando se produzca? E 3A 2
  9. 2.9 Abuso de recursos y extracción de modelos ¿Puede alguien disparar tu factura, agotar tu servicio o clonar tu modelo entrando por la puerta principal? B 2E 2A 2
Qué añade cada nivel

En Baseline, toda organización que ejecute IA implanta:

  • Versiones exactas de modelo fijadas en producción, instrucciones permanentes bajo control de versiones y ningún secreto incrustado en ellas.
  • Acceso de mínimo privilegio para cada IA, con la lectura separada de la acción y una persona que aprueba las acciones de alto impacto.
  • Verificación del origen y la integridad de cada fichero de modelo que se descarga.
  • Revisión de lo que llega al modelo y filtrado de lo que produce, como pareja básica de barreras.
  • Límites de ritmo y cuotas por quien llama, y topes al tamaño de la entrada, a la longitud de la salida y al coste por petición.

En Enhanced, las organizaciones que despliegan IA en su propio contexto añaden:

  • La lista de modelos aprobados como compuerta de producción, con normas de fortificación por tipo de componente.
  • Una identidad distinta para cada agente y cada conector, con credenciales de vida corta en lugar de claves incrustadas.
  • Pruebas de vulnerabilidad específicas de IA —instrucciones ocultas, rutas de salida, extracción— repetidas en cada cambio de modelo.
  • Gobierno de la escritura y revisión del contenido en las colecciones consultadas, con la separación entre clientes demostrada mediante pruebas.
  • Barreras a nivel de acción con un ciclo de revisión ajustado, telemetría de IA integrada en la monitorización de seguridad con detecciones específicas de IA, y un manual de incidentes con reversión.
  • Normas de seguridad escritas para agentes, herramientas y MCP; para la gestión de modelos; y para la recuperación de información; además de un ciclo de vida de desarrollo de IA escrito, con compuertas de seguridad.
  • Pruebas de inyección multimodal, verificación de que las dependencias que sugiere la IA existen de verdad, y preferencia por formatos de modelo no ejecutables, con análisis de los ficheros que puedan contener código.
  • Límites de gasto firmes con alertas de vaciado de cartera, y restricción en las respuestas del detalle que facilita la extracción.
  • Entornos de ejecución aislados y desechables para los agentes que ejecutan código o actúan sobre sistemas.

En Advanced, quienes construyen IA y los operadores críticos añaden además:

  • Política de despliegue aplicada por la máquina y conexiones de salida denegadas por defecto.
  • Firma de los modelos construidos en casa, revisión de los ficheros de modelo externos en busca de comportamientos implantados y pruebas de robustez acotadas al caso de uso.
  • Trazabilidad del origen de los datos de entrenamiento, con detección de envenenamiento en la ingesta.
  • Compuertas de seguridad con autoridad para rechazar las publicaciones de alto riesgo, y listas de componentes generadas por la propia cadena de construcción.
  • Un botón de parada ensayado con un repliegue de negocio probado, y el programa recurrente de ejercicios adversarios.
  • Detección de patrones de extracción y clonado en los modelos de alto valor, y degradación elegante bajo carga.

Dominio 3 Privacidad y protección de datos

Protege la información personal que toca tu IA, y empieza por encontrarla, porque con la IA casi nunca está solo donde crees. Los datos personales entran en un sistema de IA por sitios en los que un programa de privacidad corriente no mira nunca: en las preguntas que tu personal le escribe, en los registros que consulta para responder, en las trazas que guarda de cada interacción y en las representaciones numéricas que construye a partir de los datos y después almacena. Un programa de privacidad que vigila la base de datos y pasa por alto todo esto está vigilando la puerta equivocada. Este dominio te dice adónde van los datos, cómo limitarlos, cómo protegerlos y cómo lograr que el borrado les alcance de verdad. Allí donde usa un término técnico, lo explica en lenguaje llano la primera vez, porque quien responde de la privacidad rara vez es quien escribe el código.

  1. 3.1 Conoce qué datos personales toca tu IA ¿De quién es la información que ve este sistema y adónde va? B 1E 2
  2. 3.2 Evalúa el impacto en la privacidad antes de desplegar ¿Cómo podría este sistema dañar la privacidad de las personas, y lo hemos comprobado antes del lanzamiento? B 1E 2
  3. 3.3 Minimiza lo que entra ¿Estamos enviando a la IA más datos personales de los que necesita la tarea? B 2E 1
  4. 3.4 Protege los datos en proporción a su sensibilidad ¿Están las protecciones de estos datos a la altura de su sensibilidad? B 1A 1
  5. 3.5 Haz que la conservación y la supresión lleguen a donde la IA esconde datos Cuando hay que suprimir los datos de alguien, ¿llega realmente la supresión a todos los lugares donde la IA los colocó? B 1E 2
Qué añade cada nivel

En Baseline, cualquier organización cuya IA toque datos personales:

  • Un registro, por sistema, de los datos personales que trata la IA, incluidas las instrucciones y las trazas.
  • Una evaluación de impacto en la privacidad antes de desplegar una IA que trate datos personales.
  • La minimización de los datos personales antes de que lleguen al modelo, como camino por defecto.
  • Cifrado y control de acceso en todo el sistema, y límites de conservación de las trazas y los historiales.

En Enhanced, las organizaciones con datos sensibles o decisiones sobre personas añaden:

  • Los almacenes numéricos derivados tratados como datos personales de principio a fin: inventariados, protegidos y borrables.
  • La evaluación de las vías de exposición propias de la IA, revisada ante cualquier cambio significativo.
  • Un borrado que alcance a los almacenes derivados, y el borrado contractual por parte del proveedor con prueba de ello.

En Advanced, las organizaciones con los usos más sensibles añaden:

  • Técnicas de protección individual aplicadas allí donde la sensibilidad y lo que está en juego justifican su coste.

Dominio 4 Explicabilidad, transparencia y equidad

Sé capaz de decir qué hizo tu IA y por qué, en la medida que exija lo que está en juego y en términos que entienda la persona afectada. «Lo decidió el sistema» no es una explicación que acepte un organismo supervisor, que tolere un cliente ni que excuse un tribunal; y «es una caja negra» describe un problema, no es una defensa. Este dominio te dice cómo decidir cuánta explicación exige cada uso, cómo documentar qué es cada sistema, cómo explicar una decisión a la persona a la que afecta, cómo rastrear una salida hasta lo que la produjo y cómo asegurarte de que las explicaciones que das son realmente ciertas. Rechaza la excusa de la caja negra desde el principio: si las decisiones de un sistema importan a las personas, tienes que poder responder de ellas.

  1. 4.1 Decide cuánta explicación exige cada uso ¿Cuánto necesitamos poder explicar aquí? B 1E 1
  2. 4.2 Documenta qué es cada sistema y qué no puede hacer Si alguien tuviera que entender este sistema en diez minutos, ¿qué le entregaríamos? B 1E 3
  3. 4.3 Explica una decisión a la persona a la que afecta ¿Podemos explicar el porqué a la persona afectada de una forma que realmente pueda entender? E 2
  4. 4.4 Rastrea cada resultado significativo hasta lo que lo produjo Dentro de seis meses, ¿podremos reconstruir por qué el sistema dijo lo que dijo? E 2
  5. 4.5 Comprueba que las explicaciones son veraces ¿Refleja realmente nuestra explicación lo que hizo el sistema? A 2
  6. 4.6 Equidad y no discriminación en los usos que afectan a personas ¿Podría este sistema tratar a las personas de forma distinta por ser quienes son, y nos daríamos cuenta? B 7E 2A 1
Qué añade cada nivel

En Baseline, toda organización:

  • Una decisión, para cada caso de uso, sobre cuánta explicación se exige, tomada antes de construir.
  • Allí donde algún uso decide sobre personas: criterios de decisión escritos en la instrucción, sin ejemplos derivados de resultados previos, atributos protegidos retirados por la prevención de fuga de datos, una prueba de intercambio antes del primer uso, revisión de las candidaturas descartadas, una comprobación periódica de la tasa de selección con la regla de los cuatro quintos, y aviso a las personas afectadas con una vía hacia la revisión humana.
  • Un registro mínimo de decisión —sistema, versión, fecha, intervención humana— para cada salida que afecte a personas.
  • Una evaluación de riesgos documentada de una página por caso de uso, antes de la aprobación.

En Enhanced, las organizaciones cuya IA afecta a personas añaden:

  • Fichas de sistema y descripciones de datos para los sistemas significativos, mantenidas al día.
  • Explicaciones en lenguaje llano a las personas afectadas, con una vía para impugnar y obtener revisión humana.
  • Trazabilidad desde las salidas significativas hasta la entrada, la versión y las fuentes.

En Advanced, los usos con más en juego añaden:

  • La validación de que las explicaciones son fieles y de que su público puede servirse de ellas.
Guía de técnicas de este dominio

Pregunta:¿Qué técnica satisface cada control de explicabilidad y de equidad para este sistema?

Cuándo usarla.Una vez que las áreas 1 a 6 te han dicho qué controles de este dominio aplican a un sistema, usa esta guía para decidir cómo cumplirlos. Nunca añade ni quita un control.

Los controles de este dominio dicen qué hay que explicar y qué hay que probar; qué técnica los satisface depende del tipo de modelo. En los modelos tabulares y estructurados, explica una decisión individual a través de la contribución de cada entrada —atribución por valores de Shapley o explicación sustituta local— y, siempre que pueda calcularse, mediante una explicación contrafactual: qué habría tenido que ser distinto. Esa es la forma de explicación que la persona afectada entiende de verdad, y la que conviene preferir para el área 3. En los sistemas construidos sobre grandes modelos de lenguaje ninguno de esos dos métodos tiene sentido, porque las entradas del modelo son unidades de texto y su decisión no es una función que puedas inspeccionar. Cumple esos mismos controles mediante la trazabilidad de las fuentes que consultó el sistema, los criterios de decisión enunciados en la instrucción, los razonamientos que se piden al modelo y se contrastan con su salida, y la prueba de intercambio, que es el equivalente de una métrica de equidad en un modelo de lenguaje. Elige entre las métricas de equidad como una decisión de compromiso registrada (dominio 9, área 6), porque no se pueden satisfacer todas a la vez, y valida cada explicación (área 5): una atribución o un razonamiento que no refleje lo que hizo el sistema es peor que ninguno. La tabla nombra métodos y funciones, nunca productos.

Necesidad (área)Modelos tabulares y estructuradosSistemas construidos sobre modelos de lenguajeNivel y evidencia
Explicar una decisión a la persona afectada (área 3)Explicación contrafactual; atribución local de características, expresada en términos llanosCriterios de decisión enunciados en la instrucción; razonamiento generado por el modelo y validado frente a la salida; fuentes citadasEnhanced: registros de explicación, muestras de validación
Rastrear una salida significativa hasta lo que la produjo (área 4)Entrada, versión del modelo, vector de atribuciónEntrada, versión del modelo, versión de la instrucción, fuentes recuperadas con sus identificadoresEnhanced: registro de trazabilidad
Documentar qué es el sistema y dónde falla (área 2)Atribución global; rendimiento por grupo; descripción de los datosFicha con los usos previstos y prohibidos; resultados por grupo en el conjunto de evaluaciónEnhanced: ficha del sistema, descripción de los datos
Detectar el trato dispar antes del uso (área 6, Baseline)Prueba de intercambio sobre el atributo protegido; comprobación de la tasa de selección con el umbral de los cuatro quintos (80 %)Prueba de intercambio sobre el nombre, el marcador de género, la edad y la fotografía; instrucción con criterios únicamente; ejemplos equilibrados o ningún ejemplo en la instrucciónBaseline: registro de la prueba de intercambio, comprobación de tasas
Medir la equidad (área 6, Enhanced)Paridad demográfica, igualdad de probabilidades, calibración; técnicas de mitigación del sesgo con nueva mediciónTasas de resultado por grupo en el conjunto de evaluación y en operación; baterías de instrucciones contrafactualesEnhanced: informes de métricas; la métrica elegida se registra en el dominio 9, área 6
Auditoría independiente de sesgo (área 6, Advanced)Auditoría por un tercero de las razones de selección o de impacto por grupoLo mismo, sobre los resultados en operaciónAdvanced: informe de auditoría; resumen público cuando se exija
Validar las explicaciones (área 5)Pruebas de fidelidad (perturbación, ablación); pruebas de comprensión con usuariosMuestreo de la coherencia entre razonamiento y salida; pruebas de comprensiónAdvanced: informes de validación

Dominio 5 Rendición de cuentas

Asegúrate de que, cuando la IA provoque una consecuencia, haya una persona concreta que responda de ella, de que la decisión se pueda reconstruir y de que quien sufra el daño pueda obtener su reparación. La gobernanza asignó a los propietarios; este dominio hace real esa propiedad cuando algo sale mal: manteniendo las decisiones reconstruibles, fijando la responsabilidad a lo largo de la cadena de suministro para que no se pierda entre tu proveedor y tú, resolviendo quién soporta el coste del daño antes de que el daño ocurra, y dando a las personas afectadas una vía efectiva para impugnar y obtener remedio. La rendición de cuentas que solo existe en un organigrama se evapora en el primer caso difícil; este dominio es lo que impide que se evapore.

  1. 5.1 Haz que toda decisión significativa de la IA sea reconstruible Si tuviéramos que demostrar qué ocurrió y quién era responsable, ¿podríamos hacerlo? B 1E 2
  2. 5.2 Fija la rendición de cuentas a lo largo de la cadena de suministro Cuando interviene el modelo de un tercero, ¿quién responde del resultado? E 2
  3. 5.3 Resuelve la responsabilidad y los seguros antes de un despliegue de alto riesgo Si esta IA causa un daño real, ¿quién asume el coste, y estamos cubiertos? E 2
  4. 5.4 Da a las personas afectadas una vía para enmendar lo ocurrido Cuando la IA se equivoca con alguien, ¿cómo consigue esa persona que se corrija? E 1A 1
Qué añade cada nivel

En Baseline, toda organización:

  • La propiedad de cada sistema de IA, heredada de la gobernanza, como cimiento de la rendición de cuentas.

En Enhanced, las organizaciones cuya IA afecta a personas o depende de proveedores añaden:

  • Rastros de auditoría resistentes a la manipulación de las decisiones significativas, incluida la intervención humana.
  • El reparto contractual de la responsabilidad en la cadena de suministro, con las responsabilidades retenidas puestas por escrito.
  • La responsabilidad civil y el seguro resueltos antes de un despliegue de alto riesgo.
  • Una vía efectiva de remedio y reparación para las personas afectadas.

En Advanced, los usos con más en juego añaden:

  • Los patrones de reparación realimentados hacia el riesgo y la mejora del sistema.

Dominio 6 Supervisión humana

Construye la maquinaria que mantiene a una persona realmente al mando de las decisiones de IA que lo requieren: no una persona que estampa un sello, sino una que puede ver, juzgar y parar. La gobernanza fijó la política: qué acciones puede tomar una IA por sí sola, cuáles solo puede preparar y cuáles debe decidir una persona, en función de lo reversible que sea cada acción. Este dominio construye lo que hace real esa política en el día a día, porque un requisito de supervisión humana que solo existe sobre el papel produce el peor resultado posible: la apariencia de control sin su sustancia, una persona pulsando «aprobar» en decisiones que no tiene forma de evaluar. Decide el modelo de supervisión, diseña la interfaz que hace que supervisar signifique algo, construye los medios para intervenir y asegúrate de que quien supervisa es competente y tiene poder para usarlos.

  1. 6.1 Decide el modelo de supervisión para cada uso En esta decisión, ¿la persona decide, comprueba o está ausente, y es eso lo correcto? B 2E 1
  2. 6.2 Diseña la interfaz para que la supervisión sea real ¿Tiene realmente la persona que supervisa lo que necesita para juzgarlo? E 2
  3. 6.3 Crea medios fiables para intervenir y detener Cuando la persona necesita intervenir, ¿puede hacerlo con rapidez y fiabilidad? B 1E 2
  4. 6.4 Garantiza que quien supervisa es competente y está facultado ¿Entiende el sistema la persona que lo supervisa, y se le permite decir que no? E 2
Qué añade cada nivel

En Baseline, toda organización que ejecute una IA que actúa:

  • Toda organización, actúe o no su IA: la capacidad de dejar de usar cualquier sistema de IA y volver al proceso manual en el mismo día.
  • Toda organización, actúe o no su IA: una persona nombrada que verifique el contenido generado por IA antes de publicarlo o entregarlo fuera de la organización.
  • Una posición de supervisión asignada —decide la persona, vigila la persona o autónomo— para cada caso de uso que actúe, en función de la reversibilidad.

En Enhanced, las organizaciones con decisiones de consecuencia añaden:

  • Interfaces de supervisión que capaciten a las personas para anular, con fricción frente a la deferencia automática.
  • Mecanismos fiables de anulación y de parada, conectados a un repliegue de continuidad de negocio, con un procedimiento ensayado.
  • Personas supervisoras competentes y con poder, con autoridad real para decir que no y con tiempo para ejercerla.

Dominio 7 Monitorización y auditabilidad

Vigila tu IA en operación, porque no se queda igual después de que la apruebes: el mundo cambia, el modelo se degrada y un comportamiento que estaba bien en el lanzamiento deja de estarlo sin hacer ruido. Un sistema que se validó una vez y no se volvió a mirar es un sistema cuyo comportamiento actual estás adivinando. Este dominio te dice qué vigilar: el deterioro lento de la precisión a medida que el mundo cambia, las formas concretas en que la IA se equivoca en el momento, los registros que necesitas conservar para reconstruir y auditar, el cumplimiento que debes seguir de forma continua en vez de una vez al año, y los incidentes que tienes que poder detectar y escalar. Funciona junto a la monitorización de seguridad del dominio de seguridad técnica: aquel vigila el ataque; este vigila el fallo más amplio de calidad, deriva y cumplimiento.

  1. 7.1 Vigila que el modelo no se aleje de lo que validaste ¿Sigue siendo el sistema tan bueno como el día en que lo aprobamos? E 2
  2. 7.2 Detecta cuándo la IA se comporta de forma incorrecta ¿Nos daríamos cuenta si el sistema empezara a producir disparates o a ser objeto de abuso? E 2
  3. 7.3 Registra lo suficiente para reconstruir y auditar, y nada más ¿Podemos reconstruir lo que hizo el sistema sin crear con ello un nuevo problema de privacidad? B 1E 2
  4. 7.4 Monitoriza el cumplimiento de forma continua ¿Seguimos cumpliendo este mes, o solo a fecha de la revisión del año pasado? E 1
  5. 7.5 Detecta y escala los incidentes de IA Cuando algo salga gravemente mal, ¿lo sabremos, y lo sabrán las personas adecuadas? B 1E 3
Qué añade cada nivel

En Baseline, toda organización con IA en operación:

  • Una vigilancia básica de que el sistema se comporta, que se amplía hacia la monitorización más completa de abajo a medida que sube lo que está en juego.
  • Un registro básico de las interacciones exportado a tu propio almacenamiento, y una definición escrita de qué cuenta como incidente de IA, con un contacto de escalado nombrado.

En Enhanced, las organizaciones cuya IA mueve decisiones reales añaden:

  • Monitorización continua del rendimiento frente a los resultados reales, con umbrales que desencadenan acción.
  • Detección de la falsedad enunciada con aplomo, de la anomalía y del abuso, encauzada hacia la corrección.
  • Registro proporcionado a lo que está en juego, gobernado como datos personales; monitorización continua del cumplimiento.
  • Incidentes de IA definidos, detectados y escalados al equipo de incidentes de IA.

En Advanced, los usos con más en juego y de cambio más rápido añaden:

  • Monitorización y detección automatizadas y en tiempo real, que alimentan de forma permanente al gobierno y a la gestión de riesgos.

Dominio 8 Sostenibilidad

Trata el coste ambiental de la IA como un coste real y gestiónalo, porque la huella de energía y de carbono de la IA es grande, está creciendo y, a diferencia de la mayoría del software, depende de decisiones que tomas deliberadamente: qué modelo ejecutas, cómo de grande es, dónde se ejecuta y cómo lo construiste. Este dominio no es una apelación a la conciencia; es un conjunto de decisiones que normalmente reducen el coste y la exposición al mismo tiempo que reducen el impacto, porque ese mismo modelo sobredimensionado que quema energía innecesaria quema también dinero innecesario y crea una dependencia innecesaria. Elige el modelo del tamaño adecuado, compra a proveedores eficientes, aplica las técnicas que abaratan la ejecución de los modelos y contabiliza el coste a lo largo de toda la vida del sistema.

  1. 8.1 Elige el modelo más pequeño que haga el trabajo ¿Estamos usando un modelo mucho mayor del que esta tarea necesita realmente? B 1E 1
  2. 8.2 Da preferencia a proveedores y regiones eficientes ¿Conocemos el coste ambiental de dónde y con quién ejecutamos nuestra IA? E 2
  3. 8.3 Aplica las técnicas que abaratan la ejecución de los modelos ¿Podría este modelo hacer el mismo trabajo consumiendo mucho menos? A 1
  4. 8.4 Contabiliza el coste a lo largo de toda la vida del sistema ¿Sabemos lo que nuestra IA le cuesta al medio ambiente, desde el entrenamiento hasta la retirada? A 2
Qué añade cada nivel

En Baseline, toda organización:

  • Elegir por defecto el modelo más pequeño que baste, en lugar del mayor disponible.

En Enhanced, las organizaciones que compran o ejecutan IA a escala añaden:

  • Preguntas ambientales en la diligencia debida de proveedores y elección de ubicaciones con menos carbono siempre que sea posible.

En Advanced, quienes construyen IA y los operadores a gran escala añaden:

  • Técnicas de eficiencia de modelos aplicadas con sus compromisos medidos, y la contabilidad ambiental de todo el ciclo de vida incorporada a la evaluación de cada iniciativa.

Dominio 9 Gestión de riesgos de la IA

Mantén un ciclo continuo que identifique qué puede salir mal con tu IA, juzgue cómo de grave y cómo de probable es, lo trate en proporción y vigile lo que cambia, porque el riesgo de IA no es un documento que se produce una vez, sino un estado que se gestiona constantemente. Este es el dominio integrador: reúne en un solo sitio los riesgos concretos que nombran todos los demás dominios, los pone frente a cuánto riesgo ha dicho tu organización que acepta, y hace explícitos los compromisos difíciles entre las once dimensiones en vez de dejarlos al azar. Identifica los riesgos, evalúalos incluido su impacto sobre las personas, modela las amenazas antes de construir, trata cada uno en proporción y demuestra que el tratamiento funciona, monitoriza de forma continua, informa hacia arriba y —la parte propia de la IA— gestiona deliberadamente las tensiones entre las cosas que intentas proteger a la vez.

  1. 9.1 Identifica los riesgos propios de la IA ¿Qué puede salir mal aquí que la gestión de riesgos ordinaria pasaría por alto? E 1
  2. 9.2 Evalúa los riesgos, incluido el impacto en las personas ¿Con qué gravedad, con qué probabilidad, y a quién perjudica? B 1E 2
  3. 9.3 Modela las amenazas antes de construir ¿Hemos imaginado deliberadamente cómo podría atacarse o usarse indebidamente, antes de ponerlo en producción? E 3
  4. 9.4 Trata cada riesgo de forma proporcionada y demuestra que el tratamiento funciona ¿Hemos reducido realmente los riesgos que dijimos que reduciríamos, y lo hemos comprobado? E 1A 1
  5. 9.5 Monitoriza el riesgo de forma continua e infórmalo hacia arriba ¿Está al día nuestra visión del riesgo de la IA, y llega a quienes responden de las consecuencias? E 2
  6. 9.6 Gestiona deliberadamente las compensaciones entre las dimensiones Cuando proteger una cosa debilita otra, ¿quién decide el equilibrio, y con qué criterio? E 1A 1
Qué añade cada nivel

En Baseline, toda organización:

  • Una identificación básica de los riesgos de IA que soporta, extraída de los demás dominios, que se amplía hacia el ciclo completo a medida que crece la exposición.

En Enhanced, las organizaciones con exposición real a la IA añaden:

  • Un catálogo de riesgos de IA mantenido y evaluaciones que puntúen el daño al negocio y a las personas.
  • Una evaluación de impacto sobre los derechos como compuerta de los sistemas que afectan a personas, y modelado de amenazas antes de construir.
  • Tratamiento proporcionado con aceptación nominativa del riesgo residual, actualización continua e informe hacia arriba.
  • La resolución explícita y registrada de los compromisos entre las dimensiones.

En Advanced, quienes construyen IA y los operadores con mucho en juego añaden:

  • Validación adversaria de las mitigaciones de mayor riesgo, y un equilibrio calibrado por proporcionalidad entre el conjunto completo de dimensiones, plenamente integrado con la gestión de riesgos corporativa.

Dominio 10 Proporcionalidad y ciclo de vida

Dos principios recorren todos los dominios de este marco en lugar de residir en uno solo, y este dominio de cierre los hace explícitos para que se apliquen a propósito. El primero es la proporcionalidad: lo que debes hacer se escala a quién eres y a qué haces, de modo que a una organización pequeña que compra un asistente conversacional no se le exijan las obligaciones de un banco que entrena su propio modelo, y a ninguna de las dos se le perdonen las que sí le corresponden de verdad. El segundo es la cobertura del ciclo de vida: las obligaciones no son una compuerta única en el lanzamiento, sino una responsabilidad continua que empieza antes de que el sistema exista y termina solo cuando se retira como es debido. Ninguno de los dos es un conjunto de controles nuevos; ambos son la lógica por la que cada control ya enunciado se ajusta al nivel correcto y se sostiene en el tiempo.

  1. 10.1 Ajusta lo que haces a quién eres y a lo que estás haciendo ¿Estamos haciendo más, o menos, de lo que nuestra situación requiere realmente? B 2E 1
  2. 10.2 Mantén las obligaciones durante toda la vida del sistema ¿Cubren nuestros controles el sistema antes de que exista y después de apagarlo, o solo mientras funciona? B 1E 2
  3. 10.3 Resuelve los regímenes por sistema ¿Qué normas se aplican a cada sistema, y qué hacemos cuando difieren? E 2
Qué añade cada nivel

En todos los niveles:

  • El perfil de la organización se determina a partir de los seis factores y gobierna toda decisión de nivel, sin que el Baseline se exima nunca.
  • Las obligaciones de todos los dominios se mantienen a lo largo de todo el ciclo de vida —del diseño a la retirada— y no caducan una vez que el sistema está en marcha.
  • Ambos se vuelven a derivar y a aplicar cuando el rol, las normas o los sistemas de la organización cambian de forma significativa.
  • En la retirada, los datos se borran o se devuelven y las credenciales y las conexiones se revocan; por encima del Baseline, el mapa de aplicabilidad y la resolución de regímenes de cada sistema.

Por dónde empezar: encuentra tu camino por BONSAI

Este marco no se lee de principio a fin, y aquí no se calcula nada. Respondes a un conjunto breve de preguntas —unas pocas sobre tu organización, una sola vez, y unas pocas sobre cada sistema de IA que tengas— y escribes las respuestas en una ficha de ruta. Las respuestas te dan, para cada sistema, una letra: B, E o A. Después recorres los dominios. Cada área se abre con una compuerta que te dice si entras en ella y hasta dónde llegar y, dentro del área, implantas solo los controles que encajan con tus respuestas y con tu letra. Organizaciones distintas, y sistemas distintos dentro de una misma organización, toman caminos distintos por el mismo marco.

Cuatro ideas detrás de las preguntas.Lo que haces con cada sistema decide qué tipos de obligación tienes. Lo que el sistema puede hacer o dañar, y las normas que te obligan, deciden hasta dónde tienes que llegar. Tu tamaño decide solo cómo implantas cada control, nunca si lo implantas. Y cada respuesta que das queda registrada, para que cualquiera pueda ver después por qué tu camino es como es.

Parte A — Tu organización (se responde una vez)

A1. ¿Dónde operas y qué normas te obligan allí?

  • Solo nos aplica la normativa general de protección de datos en lo que hacemos con IA. → Letra de normas B
  • Nos aplica regulación sectorial, o normas para quien usa IA en decisiones reguladas (como empleo, crédito o acceso a servicios). → Letra de normas E
  • Proporcionamos sistemas o modelos de IA a terceros bajo normas de alto riesgo o de propósito general. → Letra de normas A
  • Operamos en más de una jurisdicción. → Toma la letra más alta que te dé cualquiera de ellas; el mapa de aplicabilidad (dominio 10, área 3) registra qué normas alcanzan a cada sistema y cualquier conflicto real

A2. ¿Qué tamaño tiene la organización y qué funciones dedicadas tiene (seguridad, legal, privacidad, cumplimiento)?

  • Micro o pequeña, sin funciones dedicadas. → Modo: ligero
  • Mediana, con algunas funciones dedicadas. → Modo: estándar
  • Grande, con funciones dedicadas. → Modo: completo

A3. ¿Qué controles están ya implantados y evidenciados?

  • Márcalos a medida que recorres los dominios. → Esto ordena tu plan; nunca quita un control

Parte B — Cada sistema de IA (se responde una vez por sistema)

B1. ¿Qué hacéis con este sistema?

  • Lo usamos tal como viene: un asistente, una herramienta en modo servicio, una función de IA dentro de un software que compramos. → Usuario (consumer): controles etiquetados all y consumer
  • Integramos o configuramos el modelo de otro en nuestros propios procesos: mediante una API, conectores, recuperación sobre nuestros documentos o agentes. → Integrador (deployer): controles etiquetados all y deployer+
  • Entrenamos, afinamos o adaptamos sustancialmente un modelo. → Desarrollador (developer): controles etiquetados all, deployer+ y developer

B2. ¿Puntúa, clasifica, selecciona o decide sobre personas?

  • Sí. → A este sistema le aplican los controles con la bandera «decide sobre personas»

B3. ¿Ejecuta acciones por su cuenta —enviar, pagar, cambiar, borrar, ejecutar— además de responder?

  • Sí. → A este sistema le aplican los controles con la bandera «actúa por su cuenta»

B4. ¿Trata datos personales?

  • Sí. → A este sistema le aplican los controles con la bandera «datos personales»

B5. Si falla, ¿cómo de grave es el daño, se puede deshacer y a cuántas personas afecta?

  • Leve, fácil de deshacer, pocas personas. → Usa la letra B
  • Significativo, o difícil de deshacer, o muchas personas. → Usa la letra E
  • Grave, o irreversible, o un número muy grande de personas. → Usa la letra A
  • Quédate con la peor de las tres respuestas. → Basta con una sola respuesta grave

Cómo leer B5.Las tres preguntas se responden con criterio, no con una fórmula. Estos ejemplos anclan cada nivel; registra la respuesta y el motivo en tu ficha de ruta.

Daño.Leve: una molestia o un error que se corrige en el curso normal del trabajo. Significativo: una pérdida económica, un servicio denegado o retrasado con vía de recurso, o información interna expuesta. Grave: un daño a la salud o a la seguridad; la pérdida de un empleo, de una vivienda, del crédito o de la situación legal; o datos personales sensibles expuestos.

Deshacer.Fácilmente: el efecto se revierte dentro del mismo proceso y no deja rastro duradero. Con dificultad: hace falta un recurso, una corrección manual o semanas para repararlo. Irreversible: no se puede revertir, o la persona nunca llega a saber que ocurrió.

Personas.Pocas: un puñado de usuarios internos o de clientes. Muchas: todo un equipo, un segmento de clientes o un grupo de candidaturas. Un número muy grande: el público en general, o toda la clientela de una organización grande.

B6. ¿Se usa en empleo, educación, crédito, seguros, vivienda, sanidad, servicios públicos esenciales, situación legal o seguridad de infraestructuras críticas?

  • Sí. → Usa la letra A, diga lo que diga B5

Tus letras

Letra del sistema =la más alta entre B, tu letra de normas (A1) y tu letra de uso (B5 y B6). Letra de la organización = la más alta entre B y tu letra de normas. Usa la letra del sistema en las áreas sobre un sistema concreto, y la letra de la organización en las áreas de toda la organización (estrategia, comité, formación, programa de seguridad, informes). Un solo sistema exigente eleva las obligaciones ligadas a ese sistema; no obliga por sí solo a una organización pequeña a construir las estructuras de una grande.

Tu ficha de ruta

SistemaRolPersonasActúaDatos personalesUsoLetraModo
(ejemplo) Asistente de cribado de candidaturasUsuarioSíNoSíAALigero
(ejemplo) Asistente conversacional de atención al clienteUsuarioNoNoSíBBLigero

Cómo recorrer los dominios

  • Al principio de cada área hay una compuerta. Te dice si entras en el área para un sistema dado (según tus respuestas a B1-B4) y desde qué letra empieza el área.
  • Dentro del área, implanta los controles cuyo nivel quepa en tu letra —con B, los controles Baseline; con E, Baseline y Enhanced; con A, los tres— y cuyas etiquetas encajen con tus respuestas: tu rol (all, consumer, deployer+, developer) y, si el control lleva una bandera, la propiedad a la que respondiste que sí.
  • Implanta cada control en tu modo. Donde el modo ligero difiera, el dominio 10 dice cómo cumple el control una organización pequeña.
  • Tu primera etapa son todos los controles Baseline que encajan con tus respuestas: el Baseline universal que aplica a todo el mundo, el mínimo de tu rol y los controles de las propiedades a las que respondiste que sí. Empieza ahí; después extiende cada sistema hasta su letra.
  • Vuelve a responder las preguntas siempre que algo cambie: empezáis a integrar o a entrenar, un proveedor cambia el modelo, aparece un uso nuevo, cambia una norma u ocurre un incidente.

Cómo leer un control

  • Nivel: [Baseline] / [Enhanced] / [Advanced]. Acumulativos; el Baseline no se exime nunca.
  • Tipo de control: preventivo (evita que el fallo ocurra), detectivo (lo hace visible), correctivo (lo limita o lo revierte). Los tres son controles.
  • Rol: all / consumer / deployer+ / developer. Un control sin etiqueta de rol aplica a todos los roles. Los controles que no encajan con tu rol siguen visibles para que veas qué asumirías si tu rol cambiara.
  • Alcance: organisation (se cumple una vez) / system (se cumple una vez por sistema). Bandera: decide sobre personas / actúa por su cuenta / datos personales; el control aplica solo a los sistemas que tengan esa propiedad.

El Baseline, por componentes

ComponenteControlesSe aplica cuando
Baseline universal (35)Política y divulgación, inventario y propietario, vía de escalado, decisión de aprovisionamiento y cuestionario de proveedores, formación y guía de uso seguro, prohibición de material confidencial en herramientas no aprobadas, titularidad de las salidas, consecuencias por saltarse el gobierno, mínimo privilegio, revisión de las entradas y filtrado de las salidas, límites de ritmo y de coste, la barrera de prevención de fuga de datos, registro básico, definición de incidente, evaluación de riesgos de una página, el repliegue manual, verificación humana del contenido generado por IA antes de que salga de la organización, perfil, higiene de retiradaTodos los sistemas
Mínimo de usuario (2)Configuración de datos del proveedor; seguimiento de los avisos de cambio del proveedor (1.6)B1 = usuario
Mínimo de integrador (5)Fijación de versiones e instrucciones versionadas (2.1); credenciales fuera del código y de las instrucciones (2.2); integridad de los modelos descargados (2.4); validación de la integración (2.7)B1 = integrador o desarrollador
Mínimo de desarrollador (6)Procedencia de los datos de entrenamiento (1.9); conjuntos de datos separados (2.5); versionado del modelo (2.1); criterios de aceptación y trazabilidad de los cambios (2.7); registro mínimo de entrenamiento (4.2)B1 = desarrollador
Decide sobre personas (10)Los siete controles de equidad (4.6); clasificación del nivel de explicación (4.1); registro mínimo de decisión (5.1); posición de supervisión (6.1)B2 = sí
Actúa por su cuenta (5, uno compartido)Los tres controles de reversibilidad (1.10); aprobación en el momento (2.2); posición de supervisión (6.1)B3 = sí
Datos personales (5)Registro de datos personales (3.1); evaluación de impacto en la privacidad (3.2); minimización (3.3); cifrado (3.4); conservación de las trazas de inferencia (3.5)B4 = sí

Un sistema de usuario que ni decide sobre personas, ni actúa, ni trata datos personales empieza con 37 controles Baseline; un sistema de desarrollador que hace las tres cosas empieza con 65. La primera etapa es el resultado de tus respuestas, no una lista de verificación igual para todo el mundo.

Cumplir el Baseline técnico sin especialistas

Pregunta:¿Cómo cumplimos los controles técnicos del Baseline sin personal especializado?

Cuándo usarla.En cuanto conozcas tu primera etapa. La tabla cubre solo los controles Baseline que implican tecnología; usa las filas cuyos controles estén en tu primera etapa.

Todo control Baseline está pensado para ser alcanzable sin experiencia especializada en seguridad de la IA. La tabla muestra qué aspecto tiene eso, para una organización de alrededor de diez personas que usa servicios de IA suministrados por terceros, en los controles Baseline que implican tecnología. Nombra la función que necesitas, nunca un producto: la mayoría de estas funciones ya están disponibles en los ajustes del propio servicio de IA o en las suites de productividad y de seguridad que ya tienes licenciadas. El esfuerzo es orientativo: bajo significa horas; medio, días; alto, semanas. Los controles Baseline de gobierno no se listan, porque requieren documentos y decisiones más que herramientas. En la primera columna, 2.1 significa dominio 2, área 1.

ÁreaControl BaselineQué hace una organización pequeñaFunción que hay que buscarEsfuerzo
2.1Fijar las versiones exactas del modeloSelecciona una versión fija del modelo en la consola del proveedor o en la llamada a la API; regístrala en el inventarioConfiguración del proveedorbajo
2.1Instrucciones permanentes bajo control de versiones, sin secretosGuarda las instrucciones del sistema en un repositorio versionado o en un documento con historial de cambios; analízalas en busca de clavesRepositorio; analizador de secretosbajo
2.2Mínimo privilegio, lectura separada de la acción; aprobación humana para las acciones de alto impactoConcede a asistentes y conectores permisos de solo lectura por defecto; activa las peticiones de aprobación para enviar, pagar y borrarProveedor de identidad; ajustes de los conectores del proveedorbajo-medio
2.4Verificar el origen y la integridad de los ficheros de modeloDescarga solo del canal oficial de quien lo publica; comprueba la suma de verificación publicada; regístralaVerificación de sumas de comprobaciónbajo
2.6Revisar lo que llega al modeloActiva los filtros de inyección de instrucciones y de datos personales del proveedor o de la pasarela, sobre las entradas y sobre el contenido recuperadoClasificador de entrada; pasarela de IAbajo-medio
2.6Filtrar lo que el modelo produceActiva filtros de salida para datos personales, credenciales y contenido tóxico; añade una comprobación de fundamentación cuando el sistema responda a partir de documentosClasificador de salidabajo-medio
2.9Límites de ritmo por identidad; topes al tamaño y al coste de la peticiónFija cuotas y topes de gasto por usuario y por aplicación en la consola del proveedor; alerta ante anomalíasCuotas del proveedor; alertas de facturaciónbajo
3.3Retirar los datos personales no necesarios antes de que lleguen al modeloConfigura el enmascarado de identificadores en el recorrido de los datos o en la pasarelaEnmascarado; prevención de fuga de datosmedio
3.3Barrera de prevención de fuga de datos con las herramientas de IA externasActiva políticas que detecten material confidencial, datos personales y atributos protegidos en las subidas y en las instrucciones hacia servicios de IA; bloquea o enmascara; registraPrevención de fuga de datos (a menudo incluida en la suite de productividad)medio
3.4Cifrar los datos personales en reposo y en tránsito, incluidos los almacenes derivadosUsa los valores por defecto del proveedor; verifícalo en cualquier almacén vectorial o traza que gestiones túCifrado de la plataformabajo
3.5Límites de conservación de las trazas de inferencia y de los historiales de conversaciónFija la conservación en la consola del proveedor y en cualquier pasarela; desactiva el entrenamiento con tus datosAjustes del proveedorbajo
4.6Prueba de intercambio antes de usarlo con personas realesPrepara entradas emparejadas que solo difieran en el atributo protegido; ejecútalas; compara; registraPrueba manual o con un guionbajo
4.6Comprobación de la tasa de selección entre gruposCuenta los resultados por grupo observable en cada periodo; aplica la regla de los cuatro quintos; registraHoja de cálculobajo
6.3Dejar de usar cualquier sistema de IA y volver al proceso manual en el mismo díaMantén el procedimiento manual escrito y conocido por alguien; nombra a quien puede decidir parar sin más aprobación; ten claro cómo suspender el acceso de la herramientaProcedimiento documentado; consola del proveedorbajo
7.3Registro básico de las interaccionesActiva las trazas de auditoría del proveedor; expórtalas a tu propio almacenamientoTrazas del proveedorbajo
10.2Higiene de retiradaBorra o exporta los datos; revoca claves y conectores; registraConsola del proveedor; proveedor de identidadbajo

Las 57 áreas de un vistazo

Pregunta:¿Por qué áreas voy a pasar, y cuáles de ellas aplican a cada uno de mis sistemas?

Cada área responde a una pregunta clave. La tercera columna repite, en forma breve, la compuerta del principio del área: para quién se entra y desde qué letra. B, E y A dan el número de controles del área en cada nivel. En las áreas que no tienen controles Baseline solo entran los sistemas, o las organizaciones, cuya letra alcanza su nivel más bajo; en todas las demás se entra con cualquier letra. Usa la tabla para ver tu ruta antes de empezar, y después recorre por completo cada área en la que entres.

ÁreaPregunta claveSe entra cuandoBEA
Dominio 1 — Gobernanza de la IA
1.1Estrategia y dirección — ¿Por qué usamos la IA?La organización, una vez341
1.2Roles y responsabilidades — ¿Quién decide qué?La organización, una vez231
1.3Comité de IA — ¿Quién supervisa la IA?La organización, una vez, letra E o A051
1.4Inventario de sistemas de IA — ¿Qué IA existe en nuestra organización, incluida la que no sabíamos que teníamos?Todos los sistemas442
1.5Ciclo de vida y decisiones — ¿Cómo se aprueba una IA?Todos los sistemas241
1.6Aprovisionamiento y gestión de terceros — ¿Debemos desarrollar o comprar, y quién controla a nuestros proveedores de IA?Todos los sistemas451
1.7Competencia y concienciación — ¿Sabe la organización cómo usar la IA?La organización, una vez331
1.8Supervisión e informes — ¿Cómo sabemos que está funcionando?La organización, una vez141
1.9Propiedad intelectual, procedencia y titularidad de los resultados — ¿De quién es lo que entra y lo que sale?Todos los sistemas322
1.10Reversibilidad y autonomía permitida — Si la IA se equivoca, ¿podemos deshacerlo, y cuánta autonomía justifica eso?Todos los sistemas320
1.11Programa de seguridad de la IA — ¿Quién es el responsable de la seguridad de la IA como programa, y qué ocurre cuando se ignora?La organización, una vez151
Dominio 2 — Seguridad técnica
2.1Arquitectura de IA segura y bastionado de modelos — ¿Qué se nos permite ejecutar y cómo se blinda?Todos los sistemas342
2.2Identidad, acceso y secretos para la IA — ¿En nombre de quién, y de qué, puede actuar la IA?Todos los sistemas342
2.3Evaluación de vulnerabilidades específicas de la IA — ¿Qué puede romper esta IA que no rompería un software corriente?Sistemas de integrador o de desarrollador (B1), letra E o A051
2.4Robustez adversarial e integridad del modelo — ¿Cómo se comporta el modelo ante un ataque deliberado, y podemos fiarnos del archivo de modelo que hemos cargado?Sistemas de integrador o de desarrollador (B1)114
2.5Seguridad de la canalización de datos y de la recuperación — ¿Pueden manipularse los datos que alimentan el modelo, o pueden leerlos las personas equivocadas?Sistemas de integrador o de desarrollador (B1)152
2.6Salvaguardas en tiempo de ejecución — ¿Qué se interpone entre el modelo y el daño mientras está en funcionamiento?Todos los sistemas231
2.7Ciclo de vida de desarrollo seguro para la IA — ¿Es nuestra forma de construir y desplegar IA segura por construcción?Sistemas de integrador o de desarrollador (B1)363
2.8Operaciones de seguridad de la IA y respuesta a incidentes — ¿Podemos detectar un ataque contra la IA y recuperarnos cuando se produzca?Todos los sistemas, letra E o A032
2.9Abuso de recursos y extracción de modelos — ¿Puede alguien disparar tu factura, agotar tu servicio o clonar tu modelo entrando por la puerta principal?Todos los sistemas222
Dominio 3 — Privacidad y protección de datos
3.1Conoce qué datos personales toca tu IA — ¿De quién es la información que ve este sistema y adónde va?Todos los sistemas120
3.2Evalúa el impacto en la privacidad antes de desplegar — ¿Cómo podría este sistema dañar la privacidad de las personas, y lo hemos comprobado antes del lanzamiento?Todos los sistemas120
3.3Minimiza lo que entra — ¿Estamos enviando a la IA más datos personales de los que necesita la tarea?Todos los sistemas210
3.4Protege los datos en proporción a su sensibilidad — ¿Están las protecciones de estos datos a la altura de su sensibilidad?Todos los sistemas101
3.5Haz que la conservación y la supresión lleguen a donde la IA esconde datos — Cuando hay que suprimir los datos de alguien, ¿llega realmente la supresión a todos los lugares donde la IA los colocó?Todos los sistemas120
Dominio 4 — Explicabilidad, transparencia y equidad
4.1Decide cuánta explicación exige cada uso — ¿Cuánto necesitamos poder explicar aquí?Todos los sistemas110
4.2Documenta qué es cada sistema y qué no puede hacer — Si alguien tuviera que entender este sistema en diez minutos, ¿qué le entregaríamos?Todos los sistemas130
4.3Explica una decisión a la persona a la que afecta — ¿Podemos explicar el porqué a la persona afectada de una forma que realmente pueda entender?Todos los sistemas, letra E o A020
4.4Rastrea cada resultado significativo hasta lo que lo produjo — Dentro de seis meses, ¿podremos reconstruir por qué el sistema dijo lo que dijo?Todos los sistemas, letra E o A020
4.5Comprueba que las explicaciones son veraces — ¿Refleja realmente nuestra explicación lo que hizo el sistema?Todos los sistemas, letra A002
4.6Equidad y no discriminación en los usos que afectan a personas — ¿Podría este sistema tratar a las personas de forma distinta por ser quienes son, y nos daríamos cuenta?Sistemas que deciden sobre personas (B2)721
Dominio 5 — Rendición de cuentas
5.1Haz que toda decisión significativa de la IA sea reconstruible — Si tuviéramos que demostrar qué ocurrió y quién era responsable, ¿podríamos hacerlo?Todos los sistemas120
5.2Fija la rendición de cuentas a lo largo de la cadena de suministro — Cuando interviene el modelo de un tercero, ¿quién responde del resultado?Todos los sistemas, letra E o A020
5.3Resuelve la responsabilidad y los seguros antes de un despliegue de alto riesgo — Si esta IA causa un daño real, ¿quién asume el coste, y estamos cubiertos?Todos los sistemas, letra E o A020
5.4Da a las personas afectadas una vía para enmendar lo ocurrido — Cuando la IA se equivoca con alguien, ¿cómo consigue esa persona que se corrija?Todos los sistemas, letra E o A011
Dominio 6 — Supervisión humana
6.1Decide el modelo de supervisión para cada uso — En esta decisión, ¿la persona decide, comprueba o está ausente, y es eso lo correcto?Todos los sistemas210
6.2Diseña la interfaz para que la supervisión sea real — ¿Tiene realmente la persona que supervisa lo que necesita para juzgarlo?Todos los sistemas, letra E o A020
6.3Crea medios fiables para intervenir y detener — Cuando la persona necesita intervenir, ¿puede hacerlo con rapidez y fiabilidad?Todos los sistemas120
6.4Garantiza que quien supervisa es competente y está facultado — ¿Entiende el sistema la persona que lo supervisa, y se le permite decir que no?Todos los sistemas, letra E o A020
Dominio 7 — Monitorización y auditabilidad
7.1Vigila que el modelo no se aleje de lo que validaste — ¿Sigue siendo el sistema tan bueno como el día en que lo aprobamos?Todos los sistemas, letra E o A020
7.2Detecta cuándo la IA se comporta de forma incorrecta — ¿Nos daríamos cuenta si el sistema empezara a producir disparates o a ser objeto de abuso?Todos los sistemas, letra E o A020
7.3Registra lo suficiente para reconstruir y auditar, y nada más — ¿Podemos reconstruir lo que hizo el sistema sin crear con ello un nuevo problema de privacidad?Todos los sistemas120
7.4Monitoriza el cumplimiento de forma continua — ¿Seguimos cumpliendo este mes, o solo a fecha de la revisión del año pasado?Todos los sistemas, letra E o A010
7.5Detecta y escala los incidentes de IA — Cuando algo salga gravemente mal, ¿lo sabremos, y lo sabrán las personas adecuadas?Todos los sistemas130
Dominio 8 — Sostenibilidad
8.1Elige el modelo más pequeño que haga el trabajo — ¿Estamos usando un modelo mucho mayor del que esta tarea necesita realmente?Todos los sistemas110
8.2Da preferencia a proveedores y regiones eficientes — ¿Conocemos el coste ambiental de dónde y con quién ejecutamos nuestra IA?Todos los sistemas, letra E o A020
8.3Aplica las técnicas que abaratan la ejecución de los modelos — ¿Podría este modelo hacer el mismo trabajo consumiendo mucho menos?Sistemas de desarrollador (B1), letra A001
8.4Contabiliza el coste a lo largo de toda la vida del sistema — ¿Sabemos lo que nuestra IA le cuesta al medio ambiente, desde el entrenamiento hasta la retirada?Todos los sistemas, letra A002
Dominio 9 — Gestión de riesgos de la IA
9.1Identifica los riesgos propios de la IA — ¿Qué puede salir mal aquí que la gestión de riesgos ordinaria pasaría por alto?Todos los sistemas, letra E o A010
9.2Evalúa los riesgos, incluido el impacto en las personas — ¿Con qué gravedad, con qué probabilidad, y a quién perjudica?Todos los sistemas120
9.3Modela las amenazas antes de construir — ¿Hemos imaginado deliberadamente cómo podría atacarse o usarse indebidamente, antes de ponerlo en producción?Todos los sistemas, letra E o A030
9.4Trata cada riesgo de forma proporcionada y demuestra que el tratamiento funciona — ¿Hemos reducido realmente los riesgos que dijimos que reduciríamos, y lo hemos comprobado?Todos los sistemas, letra E o A011
9.5Monitoriza el riesgo de forma continua e infórmalo hacia arriba — ¿Está al día nuestra visión del riesgo de la IA, y llega a quienes responden de las consecuencias?Todos los sistemas, letra E o A020
9.6Gestiona deliberadamente las compensaciones entre las dimensiones — Cuando proteger una cosa debilita otra, ¿quién decide el equilibrio, y con qué criterio?Todos los sistemas, letra E o A011
Dominio 10 — Proporcionalidad y ciclo de vida
10.1Ajusta lo que haces a quién eres y a lo que estás haciendo — ¿Estamos haciendo más, o menos, de lo que nuestra situación requiere realmente?Todos los sistemas210
10.2Mantén las obligaciones durante toda la vida del sistema — ¿Cubren nuestros controles el sistema antes de que exista y después de apagarlo, o solo mientras funciona?Todos los sistemas120
10.3Resuelve los regímenes por sistema — ¿Qué normas se aplican a cada sistema, y qué hacemos cuando difieren?Todos los sistemas, letra E o A020
Total: 57 áreas, 241 controles6713341