MLOps
Mantén reproducibles los modelos después del primer despliegue.
Un archivo de modelo no explica qué datos lo generaron, por qué se aprobó ni cuándo debe cambiar. Creamos su ciclo operativo para que tu equipo pueda reproducir resultados, revisar sustituciones y recuperarse de una versión que funcione peor.
RESPUESTA DIRECTA
MLOps organiza el ciclo de modelos entrenados: versiones de datos y artefactos, entrenamiento repetible, controles de publicación, servicio de predicciones, supervisión y reentrenamiento controlado. Cada cambio queda documentado y bajo una responsabilidad operativa.
Adecuado para
- Equipos con modelos desplegados manualmente o difíciles de reproducir
- Productos que necesitan un recorrido controlado desde nuevos datos hasta una versión aprobada
Otra necesidad
- El primer modelo predictivo, cuya viabilidad aún no está demostrada
- La evaluación de prompts y recuperación de información de una aplicación LLM
Hacer repetible una ruta de modelado
Comenzamos con un modelo representativo e identificamos fuentes, transformaciones, entorno de entrenamiento, artefactos y destino. Los pasos ocultos en notebooks y las copias manuales se convierten en dependencias explícitas. Si aún se desconoce si puede entrenarse un modelo útil, empieza con Machine Learning antes de invertir en infraestructura de ciclo de vida.
Guardar lo necesario para reproducir un candidato
El proceso registra referencias a datos, definiciones de variables, revisiones de código, parámetros y resultados de evaluación. Un artefacto desplegado debe poder relacionarse con la evidencia de su aprobación. Almacenamiento y permisos contemplan datos sensibles o con licencia. Reutilizamos las herramientas de ingeniería existentes cuando cumplen el requisito.
Promover candidatos mediante evidencia
Un modelo nuevo se compara con la referencia aceptada y los segmentos relevantes antes de publicarse. El despliegue puede usar tráfico gradual, predicciones en paralelo o un lote limitado según la aplicación. Definimos requisitos de reversión, versiones compatibles de variables y permisos de aprobación. La seguridad general de repositorios y pipelines permanece en DevSecOps.
Distinguir cambios de entrada de peores decisiones
La deriva indica entradas diferentes, pero no demuestra por sí sola una pérdida de rendimiento de negocio. Definimos señales útiles, disponibilidad de resultados reales y respuesta a cada alerta. Un candidato puede entrenarse por calendario o evento, mientras su publicación sigue la política de evaluación. Las alertas sin interpretación ni respuesta posible se eliminan del diseño.
Ejemplo de aceptación: bloquear un sustituto más débil
Un candidato mejora la métrica global y empeora en un segmento importante. Un control ilustrativo impide publicarlo y conserva el artefacto actual. El equipo puede reproducir la comparación y revisar sus datos. Un ensayo separado de reversión verifica que el servicio vuelve a un modelo anterior compatible con la versión correspondiente de variables.
Dejar una rutina operativa que tu equipo pueda ejecutar
La entrega incluye pipelines, convenciones de datos y artefactos, paneles, criterios de publicación e instrucciones para incidentes. Infraestructura, horarios de supervisión y responsabilidades se acuerdan explícitamente. Este encargo establece herramientas para el ciclo del modelo; cualquier acuerdo de Operaciones Cloud Gestionadas tiene su propio alcance y contrato.
Preguntas antes de empezar
No necesariamente. Un trabajo reproducible, un almacén de artefactos y un registro de aprobación pueden bastar para pocos modelos. Añadimos orquestación o un registro de modelos cuando el proceso lo requiere.
Es posible cuando el acceso a datos y la evaluación lo permiten. Entrenar un candidato y aprobarlo para producción son acciones separadas, con una política acordada previamente.
Sí, tras comprobar código, permisos de datos y acceso a artefactos. La historia de entrenamiento ausente se documenta; no se supone que pueda deducirse del archivo desplegado.
Comparten aspectos de despliegue y supervisión. Versiones de prompts, calidad de recuperación y evaluación de respuestas tienen su alcance en Evaluación de IA y LLMOps; aquí se trabaja con modelos entrenados y sus datos.
Revisar el ciclo de tus modelos
Describe los modelos actuales, cómo se entrenan y despliegan y qué pasos cuesta repetir. Acordamos acceso a una ruta representativa para evaluarla.