NeMo Switchyard 0.2: ¿routing de agentes sin entrenar?

NeMo Switchyard es un plano de control open source que puede elegir un modelo para cada turno de un agente de IA, traducir entre formatos de API de OpenAI y Anthropic, y exponer señales de routing, tokens, latencia y coste. La versión 0.2 llegó el 10 de agosto de 2026. Su stage router resulta especialmente interesante porque puede usar los resultados de herramientas y el progreso del agente sin exigir un modelo router entrenado por separado.

Eso no lo convierte en un optimizador de producción gratuito. Switchyard se declara pre-alfa, el umbral necesita calibración y un modelo barato solo ahorra si la tarea final sigue siendo aceptable. Esta review responde a una decisión comercial concreta: ¿debe un equipo de ingeniería probar NeMo Switchyard ahora? Para elegir una categoría, consulta nuestra comparativa de gateways y routers LLM. Para el diseño completo del equipo, usa la guía de compra de agentes de código multimodelo. Revisamos fuentes y producto el 11 de agosto de 2026.

Independencia y marcas: Wavect publica esta página y es también un proveedor, así que tenemos un interés comercial en ella. No estamos afiliados a las demás empresas nombradas aquí, no contamos con su respaldo y no somos socios suyos, y todos los nombres de empresa, marcas y marcas registradas de terceros pertenecen a sus respectivos titulares. Las afirmaciones sobre otros proveedores proceden de fuentes públicamente accesibles, sobre todo de sus propias páginas publicadas, en la fecha de revisión indicada en esta página, y pueden haber cambiado desde entonces. Verifícalas directamente antes de decidir. Esta página se ha redactado según nuestro leal saber y entender, con la intención de mantenernos objetivos. Si crees que algo aquí es inexacto o injusto, escríbenos y lo corregimos: [email protected]

¿Qué es NeMo Switchyard?

NeMo Switchyard es el proxy y la biblioteca de NVIDIA, con licencia Apache 2.0, para enrutar tráfico de agentes y LLM. El cliente envía OpenAI Chat Completions, OpenAI Responses o Anthropic Messages a un ID de ruta. Switchyard elige un destino configurado, llama al backend en su formato nativo y devuelve la respuesta en el formato que espera el cliente.

La ficha actual de NeMo Switchyard 0.2 en PyPI fecha la última versión el 10 de agosto de 2026 y exige Python 3.12 o posterior para la herramienta empaquetada. El repositorio oficial de Switchyard documenta cuatro opciones: tráfico aleatorio ponderado, un clasificador LLM, un stage router guiado por señales y escalado después de intentar con un modelo débil. También advierte que el proyecto es pre-alfa y no está pensado para producción.

¿Qué cambió en Switchyard 0.2?

La versión 0.2 cambia la arquitectura más de lo que sugiere el número. El servidor nativo Rust y switchyard-libsy pasan a ser las rutas principales. Python sigue presente, sobre todo como superficie de distribución e integración alrededor del núcleo Rust.

Por tanto, llamarlo “biblioteca Python” no es falso, pero sí incompleto en 0.2. Un despliegue nuevo debe presupuestar un servicio o biblioteca nativa Rust, configuración TOML versionada, observabilidad nativa y la operación de otro punto de control en el tráfico.

¿Cómo elige el stage router un modelo en cada turno?

El stage router lee el historial que el agente ya genera. La especificación oficial del stage router puntúa errores recientes, actividad repetida sin progreso, exploración, escrituras y tests que pasan. La recuperación de errores y la exploración incierta empujan hacia el modelo capaz. El trabajo mecánico ya asentado empuja hacia el modelo eficiente.

1. Elegir la postura por defecto. capable_first protege calidad; efficient_first protege coste.
2. Puntuar señales de herramientas. Una sola señal normalmente no decide. Varias señales deben superar confidence_threshold.
3. Aplicar excepciones críticas. Un error grave puede forzar el modelo capaz.
4. Resolver la ambigüedad. Un turno con confianza baja usa el nivel predeterminado o un clasificador LLM opcional.
5. Registrar la decisión. Las cabeceras de respuesta muestran el modelo elegido y una razón legible.

Es un enfoque más propio de agentes que clasificar una vez el prompt inicial. Una tarea puede empezar con un modelo capaz durante la exploración, pasar al eficiente cuando el plan se estabiliza y volver al capaz después de un test fallido.

¿NeMo Switchyard funciona realmente sin entrenamiento?

El stage router predeterminado, basado solo en señales, no necesita un modelo router entrenado aparte. Sus reglas y umbral trabajan con el historial de herramientas. El routing aleatorio tampoco requiere entrenamiento. Una ruta con clasificador LLM añade una llamada de modelo en ejecución, y un algoritmo propio puede tener requisitos distintos.

Sin entrenamiento no significa sin evidencia. NVIDIA propone empezar con un umbral de 0.5 y calibrarlo con tareas representativas. Su ruta mínima documentada usa aproximadamente entre 40 y 75 ejecuciones con el modelo capaz y unas 20 pruebas con el modelo eficiente. Es evaluación y calibración de política, no entrenamiento, pero consume tokens, tiempo de ingeniería y revisión.

¿Cuál es el setup responsable más rápido?

Usa el launcher para una prueba local y el servidor independiente para un piloto de equipo. Limita la primera ruta a dos modelos y un objetivo.

uv tool install --python 3.12 "nemo-switchyard[cli,server]"
switchyard launch codex --model switchyard

Para una ruta propia, instala switchyard-server, declara un destino capaz y otro eficiente en TOML, valida con --dry-run y enlaza primero a localhost. No expongas directamente el puerto 4000 a un equipo o a Internet. Autenticación, TLS, límites de tasa y política de red deben vivir en una frontera de gateway aprobada.

¿Está NeMo Switchyard listo para producción?

No, hoy no como dependencia directa de producción. La advertencia del proyecto es clara. El changelog de Switchyard 0.2 también enumera límites conocidos: el trabajo upstream puede continuar tras desconectarse el cliente, algunas decisiones de fallback no tienen atribución de nivel en estadísticas, la recuperación por retry puede quedar sin contar, las estadísticas nativas de sesión omiten una cabecera y el servidor nativo no envía una cabecera de versión documentada.

No son motivos para descartar el proyecto. Son motivos para acotar el uso. Un piloto en herramientas de desarrollo, con gasto limitado y sin datos de clientes, no se parece a un agente de soporte que emite reembolsos ni a un flujo autónomo que modifica producción.

¿Qué aporta la integración con NeMo Relay?

La integración experimental de Switchyard con NeMo Relay 0.6 muestra un patrón útil. Switchyard toma la decisión de routing, mientras Relay posee credenciales, bindings, traducción, dispatch, retries, fallback de confianza y observabilidad. El modo observe_only registra la ruta hipotética, pero sigue enviando tráfico al destino predeterminado de confianza.

Esa separación es la mejor idea de adopción del stack actual. Observa primero las decisiones en sombra. Compara lo que Switchyard habría elegido con el resultado de la tarea. Activa el routing solo cuando la ruta barata supere los mismos criterios que el baseline directo.

¿Qué debe medir un piloto de 30 días?

Un router debe optimizar resultados aceptados, no llamadas baratas. Usa el enfoque de nuestra guía de evaluación y ROI de LLM e incluye intentos fallidos, llamadas del juez y retries en el coste.

¿Cuándo elegir Switchyard, un gateway o routing propio?

• Prueba Switchyard cuando las señales por turno de un agente de código sean la oportunidad principal y tu equipo pueda operar infraestructura Rust pre-alfa.
• Elige un gateway más amplio cuando identidad, cuotas, política, failover y administración de auditoría pesen más. Nuestro setup de OmniRoute con checklist de producción cubre esa ruta de producto.
• Construye una ruta propia y estrecha cuando el workflow tenga pocas clases de tarea estables, reglas estrictas sobre efectos o señales de evaluación de la aplicación.
• Mantén un solo modelo si el volumen es bajo, todas las tareas son sensibles o evaluar y operar el router cuesta más que el posible ahorro.

Alojar Switchyard no vuelve local la inferencia remota. Los prompts siguen llegando a cada upstream configurado y el router se convierte en un punto privilegiado. Clasifica repositorios y datos de clientes, separa credenciales por entorno, minimiza prompts almacenados e incluye el router en respuesta a incidentes y revisión de proveedores.