NeMo Switchyard 0.2: Agenten-Routing ohne Training?

NeMo Switchyard ist eine Open-Source-Control-Plane, die für jeden Turn eines KI-Agenten ein Modell auswählen, OpenAI- und Anthropic-Formate übersetzen und Routing-, Token-, Latenz- und Kostensignale ausgeben kann. Version 0.2 erschien am 10. August 2026. Besonders relevant ist der Stage Router: Er kann Tool-Ergebnisse und den Fortschritt des Agenten nutzen, statt ein eigenes Router-Modell zu benötigen.

Das macht Switchyard noch nicht zu einem kostenlosen Produktions-Optimierer. Das Projekt ist ausdrücklich Pre-Alpha, die Routing-Schwelle muss kalibriert werden und ein günstigeres Modell spart nur dann Geld, wenn die Aufgabe weiterhin akzeptiert wird. Dieser Review beantwortet daher eine enge kommerzielle Frage: Sollte ein Engineering-Team NeMo Switchyard jetzt pilotieren? Für die Kategorieauswahl gibt es unseren Vergleich von LLM Gateways und Routern. Für das gesamte Team-Setup ist der Kaufleitfaden für Multi-Modell Coding Agents zuständig. Quellen und Produktstand wurden am 11. August 2026 geprüft.

Unabhängigkeit und Marken: Wavect veröffentlicht diese Seite und ist selbst Anbieter, wir haben also ein wirtschaftliches Interesse daran. Mit den hier genannten anderen Unternehmen sind wir weder verbunden noch von ihnen beauftragt oder empfohlen, und alle Firmennamen, Marken und Warenzeichen Dritter gehören ihren jeweiligen Inhabern. Aussagen über andere Anbieter stammen aus öffentlich zugänglichen Quellen, vor allem aus deren eigenen veröffentlichten Seiten, mit Stand des auf dieser Seite genannten Prüfdatums, und können sich seither geändert haben. Bitte prüfe sie vor einer Entscheidung selbst. Diese Seite wurde nach bestem Wissen und Gewissen erstellt, mit dem Ziel, möglichst objektiv zu bleiben. Wenn dir etwas falsch oder unfair erscheint, schreib uns und wir korrigieren es: [email protected]

Was ist NeMo Switchyard?

NeMo Switchyard ist NVIDIAs Apache-2.0-lizenzierter Proxy samt Library für Agenten- und LLM-Traffic. Ein Client sendet OpenAI Chat Completions, OpenAI Responses oder Anthropic Messages an eine Route-ID. Switchyard wählt ein konfiguriertes Ziel, ruft das Backend in dessen Format auf und übersetzt die Antwort für den Client zurück.

Der aktuelle PyPI-Eintrag für NeMo Switchyard 0.2 datiert das Release auf den 10. August 2026 und verlangt Python 3.12 oder neuer für das paketierte Tool. Das offizielle Switchyard Repository beschreibt vier Routing-Wege: gewichteten Zufall, einen LLM Classifier, den signalbasierten Stage Router und eine Eskalation nach einem Versuch mit dem schwächeren Modell. Es warnt zugleich, dass die Software Pre-Alpha und nicht für Produktion gedacht ist.

Was hat sich in Switchyard 0.2 geändert?

Version 0.2 verändert die Architektur stärker, als die kleine Versionsnummer vermuten lässt. Der native Rust-Server und switchyard-libsy sind nun die primären Deployment-Pfade. Python bleibt wichtig, aber vor allem als Distributions- und Integrationsschicht rund um den Rust-Kern.

Die Aussage „Python Library“ ist für 0.2 also nicht falsch, aber unvollständig. Ein neues Deployment sollte einen Rust-nativen Service oder eine Rust-Library, versionierte TOML-Konfiguration, native Observability und die Verantwortung für einen weiteren Kontrollpunkt im Traffic einplanen.

Wie wählt Stage Routing für jeden Agenten-Turn ein Modell?

Stage Routing liest die Historie, die ein Agent ohnehin erzeugt. Die offizielle Stage-Router-Spezifikation bewertet aktuelle Fehler, Aktivität ohne Fortschritt, Exploration, Writes und erfolgreiche Tests. Fehlerbehebung und unsichere Exploration schieben einen Turn zur leistungsstarken Stufe. Eingependelte mechanische Arbeit schiebt ihn zur effizienten Stufe.

1. Standardhaltung wählen. capable_first schützt Qualität, efficient_first schützt Kosten.
2. Tool-Signale bewerten. Meist reicht ein einzelnes Signal nicht. Mehrere Hinweise müssen confidence_threshold überschreiten.
3. Harte Overrides anwenden. Ein kritischer Fehler kann das leistungsstarke Modell erzwingen.
4. Unsicherheit auflösen. Ein Turn mit niedriger Konfidenz nutzt die Standardstufe oder einen optionalen LLM Classifier.
5. Entscheidung protokollieren. Response Header nennen das gewählte Modell und einen lesbaren Grund.

Das ist stärker auf Agenten zugeschnitten als eine einmalige Klassifikation des ersten Prompts. Dieselbe Aufgabe kann bei der Erkundung mit dem leistungsstarken Modell beginnen, nach einem stabilen Plan zum effizienten Modell wechseln und nach einem fehlgeschlagenen Test zurückkehren.

Braucht NeMo Switchyard wirklich kein Training?

Der standardmäßige, rein signalbasierte Stage Router braucht kein separat trainiertes Router-Modell. Seine Regeln und seine Schwelle arbeiten mit der Tool-Historie. Auch Random Routing braucht kein Training. Eine LLM-Classifier-Route verursacht dagegen einen zusätzlichen Modellaufruf, und eigene Algorithmen können andere Anforderungen haben.

Kein Training bedeutet nicht keine Nachweise. NVIDIA empfiehlt 0.5 als Startwert und danach eine Kalibrierung mit repräsentativen Aufgaben. Der dokumentierte Minimalpfad umfasst ungefähr 40 bis 75 Läufe mit dem leistungsstarken Modell und rund 20 Probes mit dem effizienten Modell. Das ist Evaluation und Policy-Kalibrierung statt Modelltraining, kostet aber weiterhin Tokens, Engineering-Zeit und Review.

Wie sieht ein verantwortungsvoller erster Setup aus?

Nutze den Launcher für einen lokalen Versuch und den Standalone Server für einen Team-Pilot. Begrenze die erste Route auf zwei Modelle und ein Ziel.

uv tool install --python 3.12 "nemo-switchyard[cli,server]"
switchyard launch codex --model switchyard

Für eine eigene Route installierst du switchyard-server, deklarierst ein leistungsstarkes und ein effizientes Ziel in TOML, validierst mit --dry-run und bindest zunächst nur an localhost. Port 4000 gehört nicht direkt ins Teamnetz oder Internet. Authentifizierung, TLS, Rate Limits und Network Policy brauchen eine freigegebene Gateway-Grenze.

Ist NeMo Switchyard produktionsreif?

Nein, aktuell nicht als Drop-in-Abhängigkeit für Produktion. Die Warnung des Projekts ist eindeutig. Das Switchyard 0.2 Changelog nennt außerdem bekannte Lücken: Upstream-Arbeit kann nach einem Client-Abbruch weiterlaufen, manche Fallback-Entscheidungen fehlen in der Tier-Zuordnung der Statistiken, erfolgreiche Retries werden nicht korrekt gezählt, native Session Stats lassen einen Session Header aus und ein dokumentierter Versions-Header wird nicht upstream gesendet.

Das spricht nicht gegen einen Pilot. Es verlangt nur einen ehrlichen Scope. Ein Entwickler-Workflow mit begrenztem Budget und ohne Kundendaten ist etwas anderes als ein Support-Agent, der Refunds auslöst, oder ein autonomer Workflow mit Produktionszugriff.

Was ergänzt die NeMo Relay Integration?

Die experimentelle Switchyard Integration in NeMo Relay 0.6 zeigt ein sinnvolles Produktionsmuster. Switchyard trifft die Routing-Entscheidung. Relay besitzt Credentials, Target Bindings, Protokollübersetzung, Dispatch, Retries, vertrauenswürdige Fallbacks und Observability. observe_only protokolliert eine hypothetische Entscheidung, während der Request weiterhin an ein vertrauenswürdiges Standardmodell geht.

Diese Trennung ist die stärkste Einführungsidee im aktuellen Stack. Beobachte Entscheidungen zuerst im Schattenbetrieb. Vergleiche die gewählte Route mit den Ergebnissen. Aktiviere Enforcement erst, wenn der günstige Pfad dieselben Akzeptanzkriterien wie der direkte Baseline-Pfad erfüllt.

Was sollte ein 30-Tage-Pilot messen?

Ein Router soll akzeptierte Ergebnisse optimieren, nicht billige Calls. Nutze den Ansatz aus unserem Leitfaden zu LLM Evaluation und ROI und rechne fehlgeschlagene Versuche, Judge Calls und Retries vollständig ein.

Wann passt Switchyard, ein Gateway oder eigenes Routing?

• Switchyard pilotieren: Wenn Signale einzelner Coding-Agent-Turns die Hauptchance sind und dein Team Pre-Alpha-Rust-Infrastruktur betreiben kann.
• Breiteres Gateway wählen: Wenn Identität, Quoten, Policy, Provider-Failover und Audit-Verwaltung wichtiger sind. Unser OmniRoute Setup mit Produktions-Checkliste behandelt diesen produktspezifischen Pfad.
• Engen Custom Router bauen: Wenn der Workflow wenige stabile Task-Klassen, strikte Side-Effect-Regeln oder eigene Eval-Signale hat.
• Bei einem Modell bleiben: Wenn das Volumen klein, die Aufgaben gleich kritisch oder Evaluation und Betrieb teurer als die mögliche Ersparnis sind.

Ein selbst gehostetes Switchyard macht Remote Inference nicht lokal. Prompts erreichen weiterhin jeden konfigurierten Upstream, und der Router wird zum privilegierten Punkt im Datenpfad. Klassifiziere Repository- und Kundendaten vor dem Routing, trenne Credentials nach Umgebung, minimiere gespeicherte Prompts und nimm den Router in Incident Response und Lieferantenprüfung auf.