Aplica las técnicas que abaratan la ejecución de los modelos
¿Podría este modelo hacer el mismo trabajo consumiendo mucho menos?
Advanced: 11 controles
A quién se aplica
Se entra solo en los sistemas en los que entrenáis o adaptáis el modelo (B1) y cuya letra es A (esta área solo tiene controles Advanced). Llega hasta donde alcance la letra del sistema, e implántalo en tu modo.
Por qué existe
Allí donde construyes o ejecutas tus propios modelos, aplica las técnicas establecidas que reducen lo que cuesta operar un modelo sin mermar de forma apreciable lo que sabe hacer. Existen varias, y conviene nombrarlas con claridad: una elimina las partes del modelo que aportan poco y deja un modelo más pequeño que rinde casi igual; otra guarda los números del modelo en una forma más gruesa y barata, que se ejecuta más rápido y más ligera; otra entrena un modelo pequeño para que imite a uno grande, y captura la mayor parte de la capacidad a una fracción del coste de funcionamiento. No son investigación exótica: son práctica habitual que recorta de forma sustancial el coste de funcionamiento y la energía con poca pérdida de precisión, y se quedan sin usar solo cuando nadie recibe el encargo de mirarlas.
Qué hacer
Usa técnicas de eficiencia allí donde reduzcan el coste sin una pérdida inaceptable. Para los modelos que ejecutes a escala, aplica las técnicas que los hacen más pequeños y más baratos de operar —recorte, representación más gruesa, o entrenar un modelo compacto para que imite a uno grande— siempre que la pérdida de precisión sea aceptable. Mide esa pérdida en vez de darla por supuesta: la idea es un ahorro significativo a poco coste, y eso se confirma comprobándolo.
Controles
Advanced1 controles
Control 217
Aplica técnicas de eficiencia de modelos a los modelos que se ejecutan a escala, cuando la merma de exactitud sea aceptable.
AdvancedPreventivodesarrollador (developer)por sistema
Qué es
La merma se mide, no se presupone.
Cómo implantarlo · Pasos
Identifica los modelos que operan a escala: p. ej. los de mayor volumen de inferencia o coste mensual
Fija de antemano la pérdida de precisión aceptable por modelo (p. ej. como máximo 1 punto en el conjunto de evaluación)
Prueba las técnicas: poda de partes que aportan poco, cuantización a menor precisión numérica, destilación en un modelo más pequeño
Mide sobre el mismo conjunto de evaluación: precisión, latencia, coste por 1.000 peticiones y energía por petición
Repite las pruebas estándar de publicación del modelo antes de sustituirlo por la versión comprimida
Despliega solo dentro de la tolerancia; registra el resultado medido en ambos casos
Cómo arrancar
Ordena los modelos que operas por coste mensual de inferencia y prueba la cuantización en el primero, que normalmente no exige reentrenar.
Evidencia
Por modelo, la técnica aplicada y la precisión, el coste y la energía medidos antes y después.
Modo: ligero / estándar / completo
ligero
El desarrollador cuantiza el único modelo a escala y anota las cifras de antes y después.
estándar
El equipo de modelos evalúa las técnicas en su lista de comprobación de publicación.
completo
Un equipo de plataforma aplica un proceso de eficiencia a todo el parque e informa del ahorro.
Evidencia
Las técnicas de eficiencia aplicadas y dónde; el coste, la energía y la pérdida de precisión medidos en cada caso.