Valyus 0,6B-Router für Retrieval-Agenten: Ergebnisse, Grenzen und Einsatz

Ein kleines Routing-Modell kann ein größeres, nur per Prompt gesteuertes Modell übertreffen, wenn es gelernt hat, welche Suchagenten tatsächlich brauchbare Belege liefern. In Valyus Studie erreicht ein nachtrainiertes Qwen3-0.6B einen mittleren NDCG@10 von 0.771. Amazon Nova Lite kommt auf 0.594, Claude Haiku 4.5 auf 0.552. Die mittlere Auswahlzeit beträgt 120.1 ms. Das sind Ergebnisse einer bestimmten Routing-Pipeline, kein Nachweis dafür, dass ein Modell mit 0,6 Milliarden Parametern generell besser ist als Haiku. [1]

Für ein Unternehmen lautet die entscheidende Frage nicht, ob es jedes große Modell ersetzen sollte. Entscheidend ist, ob wiederkehrende Fehler bei der Quellenauswahl, belastbare Bewertungsdaten und genügend Anfragen das Training eines Spezialisten rechtfertigen. Dieser Beitrag erklärt die Ergebnisse, eine leicht übersehene Grenze der Messmethode und die Nachweise, die du vor einer Umsetzung brauchst.

Quellenprüfung: 13. September 2026. Dies ist eine quellenbasierte Analyse, keine Reproduktion des Experiments durch Wavect. Die Arbeit steht im Programm des AgentSearch-Workshops bei der SIGIR 2026. Daraus machen wir keine Annahme im Hauptprogramm der Konferenz. [2]

Was hat Valyus SLM-Router tatsächlich übertroffen?

Die Autoren vergleichen einen durch Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) trainierten Router mit zwei per Prompt gesteuerten Baselines. Die Auswahl erfolgt aus einem festen Bestand von elf Fachagenten. Das kleine Modell erzeugt zusätzlich Suchbegriffe und Datumsgrenzen für den nachgelagerten Suchaufruf. [1]

Der absolute Vorsprung beim Mittelwert beträgt 0.177 gegenüber Nova Lite und 0.219 gegenüber Haiku. NDCG ist kein Prozentsatz korrekter Antworten. Die ähnlichen Mediane bei unterschiedlichen Mittelwerten legen nahe, vor allem schwierige oder fehlgeschlagene Anfragen zu untersuchen. Die Verteilung ist aussagekräftiger als eine einzelne Tabellenzeile. Dezimal- und Tausendertrennzeichen in der Tabelle entsprechen der Originalquelle. [1]

Für eine gezielt ausgewählte Teilmenge mit unpassender Agenten-Query-Zuordnung berichtet die Arbeit 0.918, 0.539 und 0.490. Das beschreibt eine wichtige Fehlerklasse, aber nicht den gesamten Benchmark. Als Beispiel nennen die Autoren eine Frage zur Proteinstruktur: Die Prompt-Baselines wählen Genomik, der trainierte Router wissenschaftliche Literatur. Entscheidend ist, wo die gesuchten Informationen liegen, nicht nur, an welches Thema die Wörter erinnern. [1]

Suchagenten auswählen ist etwas anderes als Sprachmodelle auswählen

Diese Auswahl gehört in eine Retrieval-Augmented-Generation-Pipeline (RAG): Belege auszuwählen und die endgültige Antwort zu erzeugen sind getrennte Schritte.

Ein Modell-Router entscheidet, welches Modell eine Antwort oder einen Arbeitsschritt übernimmt. Ein Retrieval-Agenten-Router entscheidet, welche spezialisierte Suche oder Datenquelle Belege liefern soll. Ein Reranker sortiert bereits gefundene Dokumente neu. Das sind drei unterschiedliche Entscheidungen, auch wenn ein Produkt alle drei enthält.

Valyus System gibt eine Bitmaske für die Agentenauswahl, Suchbegriffe und ein Zeitintervall aus. Es kann mehrere Agenten auswählen. Es leistet damit mehr als Themenklassifikation, koordiniert aber kein beliebiges Team autonomer Mitarbeiter. Verbesserungen können aus der Quellenauswahl, den Suchparametern oder ihrem Zusammenspiel entstehen. [1]

Die übergeordnete Architektur behandelt unser Leitfaden für Multi-Modell-Agenten. Anbieterübergreifende Infrastruktur behandelt der Vergleich von LLM-Gateways und Routern. Hier geht es enger gefasst um einen trainierten Selektor, der die Suchergebnisse eines bekannten Quellenbestands verbessern soll.

Wie SFT und Lernen aus Suchergebnissen zusammenarbeiten

SFT vermittelt das Ausgabeformat und die grundlegende Zuordnung. Die Studie beschreibt einen SFT-Datensatz mit 56.000 Anfragen, aufgeteilt in 70 Prozent Training, 15 Prozent Validierung und 15 Prozent Test. Die Zielausgaben enthalten Quellen, Begriffe und Datumsgrenzen. Trainiert wird mit LoRA-Rang 16, Alpha 32, bf16, zwei Epochen und einer maximalen Sequenzlänge von 512. Das ist die Versuchskonfiguration, keine allgemeingültige Betriebsempfehlung. [1]

RL bewertet die Folgen der Auswahl. Ausgehend vom SFT-Checkpoint setzen die Autoren REINFORCE++ mit 11.000 Anfragen aus Produktionslogs ein. Die Belohnung kombiniert passende Zuordnung mit der Relevanz gefundener Inhalte und der Glaubwürdigkeit der Quellen. Es ist kein reines NDCG-Ziel: Absicht, Suchbegriffe und Datumsqualität bleiben Bestandteil. Eine KL-Strafe begrenzt die Abweichung vom SFT-Checkpoint. [1]

Die beiden Datensatzzahlen ergeben nicht automatisch 67.000 einzigartige Beispiele. Sie beschreiben unterschiedliche Trainingsphasen, keinen nachgewiesen überschneidungsfreien Gesamtdatensatz. Trenne für ein eigenes System ähnliche Anfragefamilien und Zeiträume zwischen Training und abschließender Bewertung.

Das Ergebnisfeedback fließt beim Training ein. Im Betrieb sagt das Modell auf Basis des Gelernten voraus, wohin eine neue Anfrage gehen soll. Es prüft nicht zunächst die aktuellen Ergebnisse aller Agenten für diese Anfrage. Ein plötzlich leerer Index, eine geänderte Quelle oder ein defekter Connector benötigen weiterhin Zustandsprüfungen und begrenzte Ausweichwege.

Die allgemeine Erkenntnis lautet deshalb: Überwachung anhand tatsächlicher Ergebnisse ist wertvoll. Daraus folgt nicht, dass SFT grundsätzlich keine Ergebnisse nutzen könnte. Auch SFT-Labels könnten aus bewerteten Suchergebnissen abgeleitet werden. Die Arbeit vergleicht ihre Trainingsfolge mit absichtsbasierten Prompt-Baselines, nicht mit jeder denkbaren Form ergebnisorientierten Lernens.

Die öffentliche Modellkarte von Qwen3-0.6B [3] beschreibt das Basismodell, nicht Valyus trainierten Router. Ein Download dieser Gewichte reproduziert die Werte nicht. Die untersuchte Arbeit enthält keinen Download-Link zum trainierten Router. Kläre Checkpoint, Daten und Trainingscode, bevor du eine direkt installierbare Lösung einplanst.

Das NDCG@10-Detail, das die Interpretation verändert

NDCG belohnt es, relevante Treffer weit oben zu platzieren. Hier bewertet Claude Sonnet 4.6 zusammengeführte, gemischte Suchergebnisse, ohne den erzeugenden Router zu kennen. Nach Noten von 0 bis 3 werden die Treffer für die Berechnung wieder in ihre ursprüngliche Suchreihenfolge gebracht. Eine zusätzliche Neusortierung durch einen Reranker findet nicht statt. [1]

Entscheidend ist der Nenner. Abschnitt 4.5.1 bildet die ideale Rangfolge, indem die jeweils vom einzelnen System zurückgegebenen Relevanzwerte sortiert werden. Es gibt dafür keinen gemeinsamen idealen Trefferbestand über alle Systeme. Sind sämtliche Treffer irrelevant, wird null vergeben. Listen mit weniger als zehn Treffern werden nicht aufgefüllt. [1]

Damit kann die Kennzahl allein nur bestimmte Aussagen tragen. Als mathematisches Beispiel: Zehn durchgehend mit 1 bewertete Treffer und zehn durchgehend mit 3 bewertete Treffer erhalten jeweils NDCG@10 = 1, wenn die Normierung auf der eigenen sortierten Liste beruht. Ihr Nutzen unterscheidet sich trotzdem deutlich. Auch eine kurze, richtig geordnete Liste belegt damit noch keine vollständige Abdeckung.

Das hebt den berichteten Vorsprung nicht auf. Es bedeutet aber, dass 0.771 weder 77,1 Prozent Antwortgenauigkeit noch Recall oder Vollständigkeit bezeichnet. Ohne Einordnung ist es kein gewöhnlicher Vergleich gegen einen gemeinsamen idealen Trefferbestand. Miss vor einer Einführung zusätzlich NDCG mit gemeinsamer Referenz, relevante Trefferabdeckung, vollständig erfolglose Suchen und die Korrektheit der abschließenden Antworten.

Praktisch brauchst du einen von Menschen überprüften Bestand relevanter Dokumente oder Passagen je Anfrage. Alle Router werden gegen dieselben Ziele, Quellenversionen und Zugriffsrechte bewertet. Bewahre die ursprünglichen Rangwerte auf, damit eine Verbesserung nicht lediglich durch einen anderen Nenner entsteht.

Was die Latenzwerte versprechen und was nicht

120.1 ms im Mittel und 179.4 ms am P99 beschreiben den gemessenen Selektor. Die gesamte Dauer von Suche, Reranking und belegter Antwort ist darin nicht enthalten. Ein beobachtetes P99 wird auch nicht zur zugesicherten Betriebsgrenze. Warteschlangen, Kaltstarts, Bündelung, Token-Limits und Lastverteilung beeinflussen das Ergebnis. [1]

Vor einer Reproduktion bleibt außerdem ein Hardwaredetail zu klären. Die Arbeit nennt vLLM auf einer NVIDIA L4 mit 48 GB RAM. NVIDIA gibt für eine L4 dagegen 24 GB GPU-Speicher an. Die 48 GB könnten Arbeitsspeicher des Hosts meinen; eindeutig ist die Formulierung nicht. Leite daraus weder einen Bedarf von 48 GB VRAM noch eine Hardware-Kaufempfehlung ab. [1] [4]

Miss Router-Latenz und Ende-zu-Ende-Latenz getrennt auf deiner Zielinfrastruktur. Berücksichtige Kaltstarts, realistische Parallelität, Zeitüberschreitungen und Ausweichanfragen. Ein schnellerer Selektor hilft, aber eine langsame Datenquelle kann weiterhin die Nutzererfahrung bestimmen.

Vier offene Punkte vor der Beauftragung

• Die Baselines haben nicht dasselbe Training erhalten. Verglichen werden ein domänenspezifisch trainiertes SLM und größere Prompt-Modelle, nicht unterschiedlich große Modelle mit identischen Trainingsbedingungen. Das stützt dieses spezialisierte System, keine allgemeine Bedeutungslosigkeit der Modellgröße.
• Der zusätzliche RL-Beitrag wird in der Retrieval-Tabelle nicht isoliert. Die SFT-only-Ergebnisse betreffen Quellenauswahl, Begriffe, Daten und Latenz. Ein SFT-only-NDCG@10 fehlt im Hauptvergleich. Fordere diese Ablation, bevor du den ganzen Gewinn RL zuschreibst.
• Der Quellenbestand ist fest. Elf bekannte Agenten sind kein laufend wachsender Marktplatz. Neue Quellen, Indexänderungen und weitere Nutzersprachen brauchen eigene Tests. Routing für neue Agenten anhand expliziter Fähigkeiten wird als weitere Forschungsrichtung beschrieben.
• Bewertung und Testzusammensetzung sind entscheidend. Blindes, gemischtes Bewerten ist sinnvoll, bleibt aber eine Modellbewertung. Frage nach Umfang von Gesamttest und Fehlerteilmenge, Duplikatkontrolle, Konfidenzintervallen und unabhängigen menschlichen Urteilen. Die SFT-Aufteilung beantwortet das nicht.

Die Autoren nennen selbst weitere gelernte Selektionsverfahren, andere Agentenkonfigurationen und ergänzende menschliche Bewertungen als notwendige Erweiterungen. Diese Grenzen sprechen für einen kontrollierten Vergleich, nicht gegen die Forschung. [1]

Regeln, trainierter Selektor oder SFT plus RL?

Beginne mit dem günstigsten Verfahren, das einen klaren Abnahmetest erfüllt. LTRR [5] lernt, Retriever nach ihrem nachgelagerten Nutzen zu ordnen. RAGRoute [6] untersucht leichtgewichtige Quellenauswahl für föderiertes RAG. Das sind sinnvolle Vergleichsansätze, keine austauschbaren Implementierungen des Valyu-Routers.

Rechne mit Monatsnutzen = geeignete Anfragen × variable Nettoersparnis je Anfrage − zusätzliche monatliche Fixkosten. Vergleiche Quellenaufrufe, Modellinferenz und Wiederholungen auf beiden Wegen. Zu den Fixkosten gehören anteiliges Training, Labels, Evaluation und Betrieb. Eine kleine Gewichtsdatei ist noch kein Geschäftsfall. Der Leitfaden zu Kosten je Aufgabe behandelt die übergeordnete Kalkulation.

Eine Produktionsarchitektur, die Routing von Berechtigungen trennt

Das folgende Vorgehen ist Wavects Architekturvorschlag. Wir behaupten nicht, dass die Studie diese Kontrollen implementiert.

1. Zuerst den zulässigen Quellenbestand bestimmen. Mandant, Identität, Dokumentrechte, erlaubte Regionen und Verfügbarkeit werden außerhalb des Modells geprüft. Der Router wählt nur aus dem, worauf die anfragende Person zugreifen darf.
2. Die gesamte Ausgabe validieren. Nur bekannte Routen, zulässige Quellenkombinationen sowie schema-konforme Begriffe und Datumsgrenzen akzeptieren. Parallelaufrufe, Eingabegröße und Laufzeit begrenzen. Eine ungültige Ausgabe erlaubt keine Suche in sämtlichen Quellen.
3. Berechtigungen beim Abruf durchsetzen. Adapter erhalten die Identität des Aufrufenden. Fachliche Relevanz ist keine Zugriffsberechtigung.
4. Begrenzte Ausweichwege vorsehen. Leere Trefferlisten, Zeitüberschreitungen, unbekannte Themen oder unsichere Auswahl können eine separat getestete Route auslösen. Dieselben Rechte und Budgets gelten weiter; rekursive Wiederholungen werden vermieden.
5. Die Entscheidung vollständig versionieren. Modellversion, zulässiger Agentenkatalog, Quellen- oder Indexversion, gewählte Routen, normalisierte Parameter, Latenz und Ergebnis festhalten. Bei schlechterer Abdeckung muss ein Rückwechsel möglich sein.

Speichere nur evaluierungsrelevante Informationen und begrenze Aufbewahrung und Zugriff. Anfragen und Treffer können Kundendaten enthalten. Günstige lokale Inferenz macht Trainingslogs nicht automatisch unbedenklich. Für das Gesamtsystem helfen die RAG-Checkliste für den Produktionseinsatz und die MCP-Autorisierungsarchitektur.

Ein 30-Tage-Pilot für Retrieval-Agenten-Routing

Woche 1: das tatsächliche Problem feststellen. Datenschutzgerecht nutzbare Anfragen, Quellenversionen und Ergebnisse sammeln. Auswahlfehler von Chunking, Indexierung, veralteten Dokumenten und Generierungsfehlern trennen. Ein Router repariert keinen schlechten Datenbestand.

Woche 2: günstige Baselines vergleichen. Regeln, aktuellen Prompt-Router und kleinen ergebnisbasierten Selektor auf denselben zurückgehaltenen Anfragen testen. Mehrdeutige, ergebnislose und quellenübergreifende Fälle separat betrachten. Jede Betriebssprache testen, statt Mehrsprachigkeit des Basismodells mit der des trainierten Routers gleichzusetzen.

Woche 3: den Zusatznutzen von RL prüfen. Retrieval-Feedback nur ergänzen, wenn die günstigere Baseline noch relevantes Potenzial offenlässt. SFT-only und SFT+RL mit unverändertem Bewertungsprotokoll vergleichen und eine Stichprobe blind von Menschen prüfen lassen. Ein Schattenbetrieb verändert noch keine sichtbaren Antworten.

Woche 4: begrenzt ausrollen oder stoppen. Qualitätskriterien, p95/p99-Latenz, Kosten je akzeptierter Antwort und Berechtigungsanforderungen vorher vereinbaren. Nur bei Bestehen ein kleines Anfragesegment umstellen und einen Rückweg behalten. Zeigt der Pilot, dass gewöhnliche hybride Suche ausreicht, ist auch das ein wertvolles Ergebnis.

Du willst klären, ob dieser Ansatz in dein Produkt gehört? Wavects KI-Beratung unterstützt bei Evaluation, Integration und Einführung. Die Twinsoft-AI-Fallstudie zeigt angrenzende Projekterfahrung, keine Reproduktion des Valyu-Routers. Unser Vergleich von Individualsoftware und Standardlösung hilft bei der Entscheidung zwischen eigenem Routing und Zukauf.

Eine Retrieval-Routing-Bewertung besprechen: Bring deine Quellen, wiederkehrende Fehler, Anfragezahlen und Latenzgrenzen mit. Das erste Ergebnis sollte eine belastbare Bauentscheidung sein, kein versprochener Benchmark-Sieg.

Quellen und Methodik

1. Valyu-Paper: Methoden, Ergebnistabellen und Evaluationsverfahren
2. AgentSearch bei SIGIR 2026: Workshop-Programm
3. Qwen3-0.6B: Modellkarte des öffentlichen Basismodells
4. NVIDIA L4: offizielle GPU-Speicherspezifikation
5. LTRR: Lernen einer Rangfolge für Retriever
6. RAGRoute: leichtgewichtige Quellenauswahl für föderiertes RAG

Titelgrafik: mit dem Briefing bereitgestellte Abbildung auf Grundlage von Abbildung 1 von Kondapalli et al. Das Originalpaper steht unter CC BY 4.0. Die Grafik wurde unverändert übernommen und zeigt keine Wavect-Implementierung. [1]