Vigila que el modelo no se aleje de lo que validaste

Por qué existe

Vigila el deterioro silencioso que afecta a todo modelo desplegado: el deslizamiento lento de la precisión a medida que el mundo para el que se construyó el modelo se aleja del mundo en el que ahora opera. Un modelo de fraude entrenado con el fraude del año pasado, un modelo de demanda entrenado con la demanda anterior a una pandemia, un modelo de lenguaje entrenado con un público cuyo comportamiento ha cambiado: cada uno se degrada no con un estruendo, sino con una erosión gradual e invisible que nadie nota hasta que el coste se ha acumulado. Mide el rendimiento de forma continua frente a la realidad, para que la erosión sea una señal sobre la que actúas y no una sorpresa que encajas.

Qué hacer

• Sigue la precisión del modelo frente a los resultados reales a lo largo del tiempo. Compara lo que el modelo predijo o decidió con lo que de verdad ocurrió, de forma continua, y vigila la tendencia. Una sola validación buena en el lanzamiento te dice que el modelo funcionó una vez; solo la comparación continua te dice que sigue funcionando.
• Fija umbrales que desencadenen acción, no solo alarma. Decide por adelantado cuánta degradación es tolerable y qué pasa cuando se cruza: reentrenamiento, revisión o desconexión. Una alerta de deriva que no desencadena una respuesta definida es decoración; conecta el umbral con la decisión de reentrenar y, en el extremo, con el botón de parada y el repliegue.

Controles

Evidencia

Los registros y las tendencias de la monitorización del rendimiento; los umbrales definidos y las acciones que desencadenaron; la evidencia de las respuestas dadas ante la deriva.