NVIDIA Nemotron 3.5 ASR: Ist Self-Hosted STT bereit für Voice Agents?

NVIDIA Nemotron 3.5 ASR ist ein ernsthafter Self-Hosted-Speech-to-Text-Kandidat für mehrsprachige Voice Agents. Die virale Kurzfassung übertreibt aber drei Punkte. Das Modell deckt 40 Sprach-Locales ab, nicht 40 gleich produktionsreife Sprachen. Die 80-ms-Einstellung ist eine Audio-Chunk-Größe, keine garantierte End-to-End-Latenz. Für den Checkpoint fällt keine API-Gebühr pro Minute an, doch GPUs, Redundanz, Integration, Monitoring und Evaluation kosten weiterhin Geld.

Dieser Review wurde am 19. Juli 2026 verifiziert. Er beantwortet eine enge Kaufentscheidung: Soll ein Team Nemotron 3.5 ASR als Transkriptionsschicht für ein mehrsprachiges Echtzeitprodukt pilotieren? Er ersetzt weder einen allgemeinen LLM-Self-Hosting-Vergleich noch ein marktweites ASR-Ranking.

Was ist NVIDIA Nemotron 3.5 ASR?

Nemotron 3.5 ASR ist ein mehrsprachiges Streaming-Modell für automatische Spracherkennung mit 600 Millionen Parametern. Es kombiniert einen Cache-Aware-FastConformer-Encoder mit 24 Layern, einen RNN-T-Decoder und Language-ID Prompt Conditioning. Ein Checkpoint kann ein vorgegebenes Locale verwenden oder die gesprochene Sprache automatisch erkennen.

Kommerziell interessant ist die Architektur. Buffered Streaming berechnet überlappenden Audio-Kontext bei jedem Schritt häufig neu. Nemotron speichert Self-Attention- und Convolution-Aktivierungen und verarbeitet nur neue, nicht überlappende Frames. Das zugrunde liegende Paper zum Cache-Aware Conformer meldet gegenüber seiner Buffered-Baseline niedrigere Latenz und Inferenzzeit. Gleichzeitig kann ein Multi-Latency-Modell mehrere Betriebsmodi anbieten.

Die offizielle NVIDIA Model Card bietet Chunks mit 80, 160, 320, 560 und 1.120 ms. Eine bekannte Sprache liefert normalerweise bessere Genauigkeit. Im Auto-Modus kann das Modell an jede Äußerung ein Locale-Tag wie <de-DE> anhängen. Das hilft, wenn ein Deployment gemischtsprachigen Traffic erhält.

Transkribiert das Modell wirklich 40 Sprachen?

Es wurde auf 40 Sprach-Locales trainiert, doch nur 32 transkribieren out of the box. NVIDIA teilt sie in drei Tiers:

• 19 transcription-ready Locales: Englisch, Spanisch, Französisch, Italienisch, Portugiesisch, Niederländisch, Deutsch, Türkisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch, Vietnamesisch und Ukrainisch, inklusive der gelisteten Regionalvarianten.
• 13 broad-coverage Locales: Polnisch, Schwedisch, Tschechisch, Norwegisch Bokmål, Dänisch, Bulgarisch, Finnisch, Kroatisch, Slowakisch, Mandarin, Ungarisch, Rumänisch und Estnisch.
• 8 adaptation-ready Locales: Griechisch, Litauisch, Lettisch, Maltesisch, Slowenisch, Hebräisch, Thai und Norwegisch Nynorsk. Der Tokenizer kennt sie, laut NVIDIA brauchen sie für vollständige Transkription aber Fine-Tuning.

Broad Coverage bedeutet außerdem nicht gleiche Qualität. Im selbst gemeldeten FLEURS-Test lag der durchschnittliche WER bei 80 ms mit vorgegebener Language ID in der transcription-ready-Gruppe bei 10,38 Prozent und in der broad-coverage-Gruppe bei 25,86 Prozent. Für Mandarin wurde CER statt WER verwendet. Das ist ein Benchmark auf normalisierten öffentlichen Testdaten, kein Beweis für akzentreiche 8-kHz-Anrufe, Crosstalk, Produktnamen, Adressen oder deine Akustik.

Bedeutet 80 ms, dass das Transkript nach 80 ms ankommt?

Nein. Achtzig Millisekunden ist der kleinste Audio-Chunk, nicht die vollständige wahrgenommene Antwortzeit. Mit att_context_size=[56,0] verarbeitet das Modell einen 80-ms-Frame ohne Right-Context-Lookahead. Danach kommen Audioaufnahme, Paketierung, Netzwerk, Queue, Feature Extraction, Inferenz, Stabilitätsregel, Voice Activity Detection, End-of-Turn-Logik, LLM und Text-to-Speech hinzu.

Miss für einen Voice Agent mindestens vier getrennte Uhren:

1. First Partial: Wann erscheint der erste brauchbare Text?
2. Stable Transcript: Wann ändert sich der Text wenig genug, um Downstream-Arbeit sicher zu starten?
3. Final-Token-Latenz: Zeit vom letzten Audio-Sample bis zum finalen ASR-Token.
4. End-of-Turn-Latenz: Zeit bis das System sicher genug weiß, dass die Person fertig gesprochen hat.

Ein 320-ms-Chunk kann wirtschaftlich besser als 80 ms sein, wenn er Fehler, Korrekturen und falsche Tool Calls reduziert und das Gespräch trotzdem reaktionsschnell bleibt. Benchmarke die Latenz-Qualitäts-Kurve, nicht nur die kleinste Zahl.

Was beweist der 17x-H100-Durchsatz?

Er zeigt, dass Cache-Aware Streaming diesen Checkpoint gegenüber NVIDIAs gewählter Buffered-Baseline deutlich compute-effizienter machen kann. Bei 80 ms meldet NVIDIA 240 nachhaltige Echtzeitstreams auf einer H100 versus 14 für Parakeet RNNT 1.1B, also rund 17,1x. Bei 1,12 Sekunden sind es 2.400 versus 400, also 6x. Beide Werte wurden auf einer einzelnen H100 gemessen.

Das beweist keine 240 Produktionsanrufe pro GPU in deinem Stack. Codec-Konvertierung, VAD, Diarisierung, Logging, Orchestrierung, Multi-Tenancy, Tail Latency, Headroom und Failover verbrauchen Kapazität. Der Vergleich stellt außerdem ein 0,6B-Modell einem 1,1B-Modell gegenüber und belegt keine Überlegenheit gegenüber Whisper, Deepgram, Speechmatics, Google oder jedem anderen Streaming-ASR.

Ist Nemotron 3.5 ASR wirklich kostenlos?

Der Checkpoint hat keine nutzungsabhängige Modellgebühr. Ein Produktionsservice ist nicht kostenlos. Die OpenMDW-1.1-Lizenz gewährt breite, kostenlose Rechte zum Nutzen, Ändern und Verteilen der Model Materials. Verpflichtend sind unter anderem das Beibehalten von Hinweisen und eine Klausel zu Patent- und Urheberrechtsklagen. Die Model Card nennt das Modell kommerziell nutzbar und global einsetzbar.

"100 Prozent Open Source" bleibt unpräzise. NVIDIA veröffentlicht Weights und Inferenzpfade, nennt aber proprietäre NVIDIA-Riva-Trainingsdaten neben öffentlichen Datasets. Die Open Source AI Definition verlangt ausreichend detaillierte Trainingsdateninformationen sowie vollständigen Trainings- und Inferenzcode in der bevorzugten Form zur Änderung. Die belastbare Beschreibung lautet Open Weight mit permissiver kommerzieller Modelllizenz.

Rechne vor dem Feiern der fehlenden API-Rechnung einen Kosten-Floor. Nimm hypothetisch 3 US-Dollar pro H100-Wall-Clock-Stunde und verwende NVIDIAs 240-Stream-Benchmark nur als Obergrenze:

Das ist Arithmetik, kein Angebot und keine Prognose. Als aktuelle Managed-Referenz listete Deepgram Nova-3 Multilingual Streaming am 19. Juli 2026 mit 0,0058 US-Dollar pro Minute, also 0,348 US-Dollar pro Audiostunde. Bei der hypothetischen 3-Dollar-GPU liegt der reine Break-even-Floor bei rund neun dauerhaft belegten Streams. Zwei GPUs für Failover verschieben ihn vor Engineering und Support auf rund 18. Eine Managed API enthält außerdem Features und Betriebsverantwortung, die der rohe Checkpoint nicht mitliefert.

Wie lässt sich Nemotron 3.5 ASR deployen?

Drei Pfade sind praktikabel. Lizenz und Betriebsaufwand unterscheiden sich:

1. Hugging Face plus NVIDIA NeMo. Lade den OpenMDW-Checkpoint direkt, nutze NVIDIAs Cache-Aware-Streaming-Code und betreibe den Serving Layer selbst.
2. Hugging Face Transformers. Ab Transformers 5.13 läuft das Modell offline und streaming, mit vorgegebenem Locale oder automatischer Erkennung. Das passt für Evaluation und eigene Integration.
3. NVIDIA ASR NIM. NVIDIA paketiert das mehrsprachige Modell inzwischen als GPU-beschleunigten Container mit gRPC- und HTTP-APIs. Der offizielle NIM-Deployment-Guide nutzt type=multi. NIM hat separate Container- und Modellbedingungen. Übertrage die Lizenzbewertung des Checkpoints nicht ungeprüft auf den kompletten Container.

Die aktuelle ASR-NIM-Support-Matrix verlangt eine NVIDIA-GPU ab Compute Capability 8.0 und mindestens 16 GB VRAM. Das mehrsprachige Nemotron-Profil selbst listet rund 6 GB bei Batch Size 32 und 14,6 GB bei Batch Size 64. Unterstützt werden unter anderem A30, A100, H100, A-Series-Inferenzkarten, L4, L40 und aktuelle GeForce-RTX-Karten. Die rohe Model Card nennt zusätzlich ältere NVIDIA-Architekturen und Jetson. Produktionskapazität muss trotzdem auf Runtime und Gerät des Zielsystems gemessen werden.

Nemotron 3.5 ASR vs Whisper vs Managed Streaming API

Das offizielle Whisper-Repository beschreibt die Standardtranskription mit gleitenden 30-Sekunden-Fenstern. Streaming-Wrapper können Whisper inkrementell wirken lassen, nutzen aber ein anderes Compute-Muster als ein für Streaming trainiertes Cache-Aware RNN-T. Eine Managed Voice-Agent-ASR kann Transkription und Turn Detection kombinieren. Deepgram dokumentiert in Flux eine model-native End-of-Turn-Erkennung, die der Nemotron-Basischeckpoint nicht beansprucht.

Was fehlt in der 0-Dollar-Story?

Der Checkpoint liefert interpunktierten Text mit Großschreibung und optionalem Language Tag. Ein produktives Voice-System braucht je nach Use Case zusätzlich:

• Voice Activity Detection und verlässliche End-of-Turn-Erkennung;
• Speaker Diarization oder getrennte Telefoniekanäle;
• Wort-Timestamps, Confidence Policy und Transcript-Stability-Regeln;
• 8-kHz-Resampling, Codec Handling, Jitter Buffer und Reconnect-Logik;
• Domain-Evaluation für Namen, SKUs, Adressen und regulierte Begriffe;
• PII Redaction, Einwilligung, Retention, Löschung, Zugriffsrechte und Audit Logs;
• Autoscaling, Backpressure, Failover, Monitoring und sichere Degradation;
• eine separate Übersetzungsschicht, wenn die Ausgabe eine andere Sprache haben soll.

Self-Hosting kann Audio in kontrollierter Infrastruktur halten. Es macht die Aufnahme nicht automatisch rechtmäßig und das System nicht automatisch DSGVO-konform. Zwecke, Hinweise, Einwilligung oder andere Rechtsgrundlage, Speicher, Supportzugriff, Löschung und Human Review müssen vor echten Kundengesprächen geklärt sein.

Wer sollte Nemotron 3.5 ASR jetzt pilotieren?

Pilotiere es, wenn du mehrsprachige Low-Latency-Transkription brauchst, genug konstante Concurrency für GPU-Auslastung erwartest, den Audiopfad kontrollieren musst, NVIDIA-Infrastruktur betreiben kannst und jedes Ziel-Locale auf echtem Audio evaluierst.

Starte mit einer Managed API, wenn Traffic niedrig oder unvorhersehbar ist, SLA und Support sofort zählen, Turn Detection, Diarisierung, Timestamps, Redaction oder Vocabulary Controls turnkey nötig sind oder dein Team kein Speech MLOps übernehmen will. Für rein englische Use Cases empfiehlt NVIDIA selbst den separaten englischen Nemotron-3-ASR-Checkpoint.

Wie wird ein Production Pilot gemessen?

1. Entscheidung einfrieren. Ein Use Case, zwei Ziel-Locales, ein Incumbent und 200 bis 500 repräsentative Äußerungen je Locale.
2. Produktionsaudio abbilden. Echte Codecs, gegebenenfalls 8 kHz, Lärm, Akzente, Unterbrechungen, Stille, Namen, Zahlen und Domain-Begriffe.
3. Drei Chunk-Größen testen. Starte mit 80, 320 und 1.120 ms. Miss WER oder CER, First Partial, Stable Text, Final Token und End of Turn.
4. Known und Auto Language vergleichen. Auto Detect vereinfacht Routing, kann aber Accuracy kosten. Teste kurze Äußerungen und Sprachwechsel.
5. Die echte Pipeline belasten. Erhöhe Streams, bis P95-Latenz, GPU-Speicher, Queue-Tiefe oder Accuracy das SLO verfehlen.
6. Fehlerpfade erzwingen. Worker beenden, Pakete verlieren, Streams reconnecten, kaputtes Audio senden und Backpressure, Retry sowie Tenant-Isolation prüfen.
7. Akzeptierte Minute bepreisen. GPU-Idle, zweite Replik, Engineering, Observability, Storage, Review und Fehlerkosten einrechnen.
8. Produktion gaten. Nur deployen, wenn der Self-Hosted-Pfad die Managed-Baseline auf der wirtschaftlich relevanten Kennzahl schlägt, ohne Quality- oder Reliability-Lücke.

Wavects AI Enablement deckt Workload-Auswahl, Speech- und Modellevaluation, Architektur, Observability, Production Hardening und Übergabe ab. Die Twinsoft-AI-Case-Study zeigt dieselbe Produktionslektion: Das System rund um das Modell entscheidet über den Wert. Unser Leitfaden zur Technologieauswahl hilft bei der breiteren Build-versus-Buy-Entscheidung.