¿Qué puede salir mal aquí que la gestión de riesgos ordinaria pasaría por alto?
Enhanced: 11 controles
A quién se aplica
Se entra en cada sistema de IA cuya letra es E o A (esta área no tiene controles Baseline). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Construye y mantén un catálogo de los riesgos que introduce la IA, los que tu proceso de riesgos corporativo no se construyó para ver. Se agrupan en tres familias. La primera, los riesgos del propio modelo: se le puede manipular, se le puede envenenar, se puede abusar de sus poderes, puede afirmar falsedades, puede filtrar lo que aprendió. La segunda, los riesgos de la cadena de suministro: un proveedor, un modelo descargado, un conjunto de datos o un agente externo pueden fallar o resultar estar comprometidos. La tercera, el riesgo de la IA que no sabes que tienes: la IA en la sombra, adoptada sin gobierno, que es un riesgo precisamente porque queda fuera de todos los controles que has construido. Nómbralos todos; un riesgo sin catalogar es un riesgo sin gestionar.
Qué hacer
Cataloga los riesgos del modelo, los de la cadena de suministro y el de la IA en la sombra. Reúne los riesgos concretos que nombran los demás dominios —manipulación y fuga, de seguridad técnica; riesgo de proveedor y de modelo abierto, de aprovisionamiento; IA no registrada, del inventario— en un único catálogo de riesgos de IA, para que la organización tenga una sola vista de lo que puede salir mal y no una dispersión de preocupaciones por dominio.
Controles
Enhanced1 controles
Control 220
Mantén un catálogo de riesgos de IA que abarque los riesgos del modelo, de la cadena de suministro y de la IA en la sombra.
EnhancedPreventivotodos los rolespor sistema
Qué es
Reúne los riesgos específicos señalados en los distintos dominios.
Cómo implantarlo · Contenido mínimo
Riesgos del modelo: manipulación mediante entradas, envenenamiento, abuso de sus permisos, afirmaciones falsas, fuga de datos de entrenamiento o de contexto
Riesgos de la cadena de suministro: fallo o cambio silencioso del proveedor, modelo descargado comprometido, conjunto de datos defectuoso, agente externo no fiable
Riesgo de IA en la sombra: IA en uso que no figura en el inventario
Por riesgo: identificador, descripción, sistemas afectados, dominio de origen, responsable
Vínculo al control o controles que lo tratan
Fecha de última revisión y el evento de cambio que la motivó
Cómo arrancar
Reúne en una sola lista los riesgos ya identificados en los registros de inventario, aprovisionamiento y seguridad técnica, una fila por riesgo.
Evidencia
El catálogo de riesgos de IA, con referencias que muestran de dónde procede cada entrada y cuándo se actualizó.
Modo: ligero / estándar / completo
ligero
La persona responsable de la IA lo mantiene como pestaña del inventario.
estándar
Lo mantiene riesgos o seguridad; los responsables confirman qué entradas aplican.
completo
Riesgos lo gestiona en la herramienta corporativa, con responsable por familia.
Evidencia
El catálogo de riesgos de IA; la evidencia de que se nutre de los demás dominios y se mantiene al día con ellos.