Si la IA se equivoca, ¿podemos deshacerlo, y cuánta autonomía justifica eso?
Baseline: 3Enhanced: 25 controles
A quién se aplica
Se entra en cada sistema de IA. Algunos de sus controles solo aplican si actúa por su cuenta (B3). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Antes de conceder a una IA el poder de actuar por su cuenta, hazte una pregunta: si se equivoca en esto, ¿podemos deshacerlo? Algunas acciones son puertas de doble sentido —baratas de revertir, de modo que se puede confiar en que el sistema las cruce solo y corregirlo después—. Otras son puertas de un solo sentido: una vez tomadas, el coste, la reputación o la consecuencia jurídica no se pueden recuperar, y en esas puertas tiene que haber una persona. Haz de esto la regla que ordena la autonomía: cuanto más irreversible es la acción, menos autonomía se le permite a la IA, sin excepción por muy impresionante que sea el sistema. La sofisticación no es una razón para ensanchar una puerta de un solo sentido; suele ser la razón por la que alguien te pide que lo hagas.
Esta área fija la regla y la clasificación; la maquinaria que la hace cumplir en el día a día —las interfaces por las que intervienen las personas, los mecanismos de anulación, la competencia de quienes supervisan— se especifica en el dominio de supervisión humana. Aquí se decide la política: qué acciones puede tomar sola la IA, cuáles solo puede preparar y cuáles no puede ejecutar nunca.
Tipo de acción
Reversibilidad
Autonomía permitida
Control de gobierno
Síntesis y análisis (p. ej., resumir un documento)
Plenamente reversible: una salida mala simplemente se descarta
Completa: la IA actúa sola
Registro continuo; salidas etiquetadas como generadas por IA.
Apoyo administrativo y al flujo de trabajo (p. ej., preparar la aprobación de un gasto)
Parcialmente reversible: corregible, con cierto coste
Supervisada: la IA prepara y una persona valida antes de que nada surta efecto
Una persona confirma antes de la ejecución; la confirmación queda registrada.
Operaciones críticas (p. ej., ejecutar un pago; una decisión que afecta a una persona)
Irreversible al menos en uno de los libros
Ninguna en solitario: persona en el circuito, de forma estricta
Doble autorización en lo que más está en juego; la IA puede preparar, pero nunca ejecutar.
Qué hacer
Clasifica por su reversibilidad cada acción que puede tomar una IA, antes de concederle autonomía alguna. Para cada caso de uso en el que una IA actúa —y no solo responde—, pregunta cuán difícil es deshacer la acción y cuánto costaría deshacerla. Esa respuesta, y no la capacidad del modelo, fija la autonomía que permites. Registra la clasificación: es la decisión que hacen cumplir todos los controles posteriores.
Juzga la irreversibilidad en cuatro libros de cuentas, y quédate con el peor. Una acción puede ser técnicamente reversible y aun así irreversible donde cuenta. A veces un pago se puede recuperar; un mensaje a un cliente no se puede desenviar; una decisión sobre una persona, una vez comunicada, no se puede descomunicar. Evalúa cada acción en cuatro libros —financiero, operativo, jurídico y reputacional— y deja que gobierne el peor de los cuatro, porque el peor es el que definirá el incidente.
Dale a los flujos mixtos la autonomía de su paso más irreversible. Un agente que redacta un mensaje (reversible) y lo envía (normalmente no) es, a efectos de gobierno, un agente que envía. Cuando un flujo de trabajo encadena pasos reversibles e irreversibles, el flujo entero hereda el techo de autonomía de su paso más irreversible; de lo contrario, los pasos reversibles se convierten en el pasillo por el que se llega sin supervisión al que no lo es.
Pon por escrito los límites de cada agente, como una ficha de encargo. Una página por agente: para qué es y qué queda fuera de alcance; las herramientas y los datos que puede usar; las acciones que puede tomar solo, las que solo puede preparar y las que no puede tomar nunca; su posición de supervisión (dominio 6); su propietario; y cómo se le detiene. La ficha es la única evidencia de la clasificación, de la decisión de autonomía y de la posición de supervisión.
Acota el daño, no solo la acción. Expresa el techo de autonomía también como límites de importe y de volumen: la cantidad máxima que un agente puede mover, el máximo de registros que puede cambiar, el máximo de mensajes que puede enviar, por acción y por día. Un límite así contiene el fallo que la clasificación no previó.
Sube la autonomía por etapas. Un agente nuevo funciona primero en sombra: propone y ejecuta una persona; después con autonomía limitada, bajo un techo bajo y con sus acciones muestreadas; y solo entonces con la autonomía que permita su clasificación. Sube de etapa con evidencia registrada —la tasa de error observada en la etapa anterior—, nunca por confianza en el modelo.
Controles
Baseline3 controles
Control 68
Clasifica cada caso de uso agéntico según su reversibilidad antes de conceder autonomía.
BaselinePreventivotodos los rolespor sistemaactúa por su cuenta
Qué es
La clasificación queda registrada y es el punto de partida de toda decisión sobre autonomía.
Cómo implantarlo · Pasos
Enumera cada acción que puede realizar el agente, no solo responder: enviar, pagar, modificar o borrar registros, publicar, reservar
Para cada acción, pregúntate lo difícil que es deshacerla y lo que costaría
Valórala en cuatro planos: financiero, operativo, jurídico y reputacional
Toma el peor plano como su clase: reversible, parcialmente reversible, irreversible
Registra la clasificación con fecha y responsable; es la entrada de la decisión de autonomía
Cómo arrancar
Para tu primer agente, enumera en una hoja todas las acciones que puede realizar y valora cada una en los cuatro planos.
Evidencia
La clasificación de reversibilidad fechada de cada caso de uso con agente.
Modo: ligero / estándar / completo
ligero
La gerencia y quien configuró el agente clasifican juntos las acciones en una hoja de cálculo.
estándar
El responsable del sistema clasifica con Informática y el responsable del proceso de negocio, y el comité lo revisa.
completo
Riesgos y el responsable del sistema clasifican conjuntamente con un método estándar, registrado en la carta de cada agente.
Control 69
Fija por escrito, para cada caso de uso, la autonomía permitida en proporción inversa a la irreversibilidad.
BaselinePreventivotodos los rolespor sistemaactúa por su cuenta
Qué es
Autonomía plena solo cuando la acción es totalmente reversible; validación humana cuando lo es parcialmente; ejecución humana cuando es irreversible.
Cómo implantarlo · Reglas mínimas
Totalmente reversible: el agente puede actuar solo; las acciones quedan registradas
Parcialmente reversible: el agente prepara; una persona valida antes de ejecutar
Irreversible: el agente solo puede proponer; una persona ejecuta
Escríbelo por caso de uso en una carta de agente de una página: acciones solo, solo preparar, nunca; responsable; cómo se detiene
Firmada por el responsable del sistema; solo cambia mediante reclasificación
Cómo arrancar
Anota el nivel de autonomía junto a cada acción clasificada y haz que lo firme el responsable del sistema.
Evidencia
La decisión de autonomía o carta de agente firmada de cada caso de uso.
Modo: ligero / estándar / completo
ligero
La gerencia firma una carta de una página por agente y la guarda con el inventario.
estándar
Firma el responsable del sistema y el comité aprueba cualquier acción con autonomía total.
completo
El comité aprueba las cartas y los niveles se configuran como permisos en la plataforma de agentes.
Control 70
Exige la intervención de una persona en cada acción irreversible.
BaselinePreventivotodos los rolespor sistemaactúa por su cuenta
Qué es
Sin excepciones por la calidad del modelo, la urgencia o el volumen; el proceso de excepción consiste en cambiar la clasificación, no en eludirla.
Cómo implantarlo · Reglas mínimas
Toda acción irreversible necesita aprobación humana explícita antes de ejecutarse
Aplícalo técnicamente: el agente no tiene permiso para ejecutar solo; una indicación en la instrucción no basta
Quien aprueba ve qué se hará, a quién y por qué importe
Registra cada aprobación: quién, cuándo y qué
Sin excepciones por urgencia, volumen o calidad del modelo; la única vía es reclasificar
Prueba que una acción irreversible sin aprobación queda bloqueada
Cómo arrancar
Retira al agente el permiso directo para cada acción irreversible y desvíala a un paso de aprobación en la configuración de la herramienta.
Evidencia
Los registros de aprobación de acciones irreversibles y el resultado de la prueba de bloqueo.
Modo: ligero / estándar / completo
ligero
Usa el ajuste integrado de la herramienta de agentes que pide confirmación antes de actuar, con aprobación de la gerencia o de una persona designada.
estándar
Informática configura los pasos de aprobación y el responsable del sistema revisa cada mes el registro de aprobaciones.
completo
Las aprobaciones pasan por el motor de flujos de trabajo con aprobadores segregados y las pruebas de bloqueo se repiten en cada versión.
Enhanced2 controles
Control 71
Aplica el techo de autonomía a nivel de flujo de trabajo.
EnhancedPreventivotodos los rolespor sistema
Qué es
El paso más irreversible de una cadena rige toda la cadena.
Cómo implantarlo · Pasos
Traza cada flujo de trabajo de principio a fin, incluidos los pasos que realizan las herramientas que invoca el agente
Identifica su paso más irreversible a partir de la clasificación de reversibilidad
Aplica el nivel de autonomía de ese paso a todo el flujo: un agente que redacta y envía es un agente que envía
Busca atajos: pasos reversibles que desencadenan automáticamente uno irreversible
Registra el techo a nivel de flujo; reevalúalo al añadir un paso o una herramienta
Cómo arrancar
Toma el agente con más pasos, dibuja su flujo en una página y marca el paso más irreversible.
Evidencia
La evaluación del techo de autonomía a nivel de flujo de cada agente.
Modo: ligero / estándar / completo
ligero
Quien configuró el agente traza el flujo y la gerencia firma el techo.
estándar
El responsable del sistema e Informática trazan los flujos y registran los techos en las cartas de agente.
completo
Arquitectura traza los flujos formalmente y el techo se aplica en la capa de orquestación.
Control 72
Exige doble autorización para las operaciones irreversibles más críticas.
EnhancedPreventivotodos los rolespor sistema
Qué es
Dos personas, de forma independiente, para las acciones cuyo fallo la organización no podría asumir.
Cómo implantarlo · Reglas mínimas
Enumera las operaciones irreversibles críticas, p. ej. pagos por encima de un umbral, envíos masivos a clientes, borrados masivos, decisiones sobre muchas personas
Dos personas distintas aprueban cada una de forma independiente; el solicitante no puede ser una de ellas
El sistema bloquea la segunda aprobación desde la misma cuenta
Ambas aprobaciones se registran con hora y lo que vio cada aprobador
Revisa la lista y los umbrales al menos una vez al año
Cómo arrancar
Enumera las operaciones cuyo fallo la organización no podría absorber y configura un segundo aprobador para cada una en el sistema que las ejecuta.
Evidencia
La lista de operaciones críticas y los registros de doble aprobación.
Modo: ligero / estándar / completo
ligero
Aprueban dos personas designadas, p. ej. la gerencia y un socio; si la herramienta no admite doble aprobación, la segunda confirma por escrito antes de ejecutar.
estándar
Informática configura la doble aprobación en los sistemas que ejecutan y el responsable del sistema revisa el registro.
completo
La doble aprobación se impone en el motor de flujos de trabajo con segregación de funciones y se audita periódicamente.
Evidencia
La clasificación de reversibilidad por caso de uso; las decisiones de autonomía registradas; los registros de validación humana y de doble autorización; las evaluaciones del techo de autonomía a nivel de flujo de trabajo.