Wann lokale Modelle APIs schlagen: Break-even-Rechner für EU-Unternehmen

Lokale LLMs schlagen APIs nur, wenn Workload, Governance und Betrieb zusammenpassen. Eine billige GPU-Stunde ist noch kein Business Case. Der Business Case ist der Preis pro erfolgreiche Aufgabe, nachdem Auslastung, Concurrency, Redundanz, Engineer-Zeit, Eval-Pflege und EU-Datenresidenz eingerechnet sind. Wenn das Open-Weight-Modell dein Eval nicht besteht, endet die Rechnung. Wenn es besteht, die GPU aber den Großteil des Tages wartet, endet sie meistens auch.

Dieser Artikel ist die Self-Hosting-Ergänzung zu unserem LLM-Kostenrechner 2026. Dort vergleichen wir API-Rechnungen pro Aufgabe. Hier vergleichen wir API-Aufgaben mit lokaler Inferenz. Die wichtigste 2026er-Erkenntnis aus der Utilization-Forschung: Dieselbe H100 kann pro Million Output-Token extrem günstig oder brutal teuer wirken, je nachdem, wie gut Last und Concurrency passen. Ein aktuelles arXiv-Paper misst auf identischer H100-Hardware eine Spanne von $0.21 bis $15.25 pro Million Output-Token und zeigt, dass Utilization-blinde Rechner die Kosten um 1 / U unterschätzen.

Die kurze Antwort

Nimm eine API, wenn Traffic klein, sprunghaft, schwer planbar oder auf Frontier-Reasoning angewiesen ist. Prüfe lokale Modelle, wenn du hohes und stetiges Volumen hast, ein Modell dein Eval besteht, dein Team den Stack betreiben kann und entweder EU-Governance oder ein teurer API-Baseline echte Marge lässt. Dazwischen liegen EU-regionale APIs und managed Open-Weight-Endpunkte, oft der bessere Schritt vor vollem Self-Hosting.

Der Rechner

Vergleiche API-Kosten pro erfolgreiche Aufgabe mit lokalen Kosten pro erfolgreiche Aufgabe. Nicht Provider-Rechnung gegen GPU-Rechnung.

Effektive lokale Kosten pro 1M Token = ((gpu_hourly_rate + infra_hourly + ops_hourly) / (tokens_per_second * 3600 * measured_utilization)) * 1,000,000.

Measured Utilization ist die Falltür. Wenn dein Spreadsheet 80% annimmt, Produktion aber 12% liefert, liegst du vor Redundanz und Ops schon ungefähr um Faktor 6,7 daneben.

Welche Inputs du sammeln musst

Warum Auslastung wichtiger ist als GPU-Preis

GPU-Preise sind einfach. Utilization ist unangenehm, weil sie aus deinem Traffic entsteht. Ein interaktiver Assistent hat oft lange Leerlaufphasen und kurze Peaks. Eine nächtliche Extraktion kann mit kontrollierter Queue-Tiefe stundenlang laufen. Der zweite Workload kann lokale Modelle rational machen; der erste oft nicht.

Auch der Serving-Stack zählt. Eine Studie zu vLLM versus HuggingFace TGI fand bei hoher Concurrency bis zu 24x höheren Durchsatz für vLLM, während TGI bei interaktiven Szenarien mit moderater Concurrency niedrigere Tail-Latenzen zeigte. Dein Rechner braucht deshalb Benchmark-Zeilen für genau dein Modell, deine Quantisierung, deine Context Length und dein Latenzziel.

Vergleiche nicht gegen die falsche API

Ein lokales Modell muss nicht das teuerste Frontier-Modell schlagen, wenn deine Aufgabe das gar nicht braucht. Es muss den günstigsten akzeptablen managed Pfad schlagen, nachdem Caching, Batch, Routing und Model Right-sizing eingerechnet sind.

• OpenAI Pricing trennt Input, cached Input und Output. Stabile Prefixes verändern die Baseline.
• Gemini Pricing führt Context Caching und Batch Pricing auf Paid Tiers und unterscheidet Produktverbesserung nach Tier.
• Amazon Bedrock nennt Batch Inference für ausgewählte Foundation Models zu 50% niedrigerem Preis als On-demand.
• Azure OpenAI ist für EU-Unternehmen relevant, weil Data Zones, Provisioned Throughput, Reservierungen und Procurement neben Tokenpreisen zählen.

Die Optimierungsreihenfolge steht in LLM Token Costs 2026 senken. Die Modellauswahl vertiefen wir im Open-Weight-LLM-Vergleich.

Beispielrechnung

Ein EU-SaaS-Unternehmen betreibt eine Dokument-Enrichment-Pipeline. Der API-Pfad kostet nach Caching, Batch, Retries und Verifier 0,018 Dollar pro erfolgreiches Dokument. Der lokale Kandidat besteht dasselbe Eval. Der lokale Stack kostet all-in 9.800 Dollar pro Monat: GPU, Spare-Kapazität, Storage, Logging, Monitoring, Netzwerk, Engineering und Eval-Pflege. Variable lokale Kosten liegen bei 0,003 Dollar pro Dokument.

Füge einen Risikopuffer hinzu. Wenn Eval-Pass-Rate, Utilization oder Failover schlechter ausfallen als im Benchmark, wandert der Break-even nach rechts. Wenn der Workload async ist und die GPU nachts sättigt, wandert er nach links. Wenn die API-Baseline ein günstiger hosted Open-Weight-Endpunkt ist, kann Self-Hosting komplett uninteressant werden.

EU-Faktoren

Für EU-Unternehmen ist lokal versus API selten nur Preis. GDPR, DPAs, Kundenaudits, Sektorregeln und Datenresidenz bestimmen oft die Architektur. Trotzdem gibt es mehrere Governance-Pfade.

Mehr dazu: EU-Datenresidenz für AI Apps und was Self-Hosting von LLMs in der EU wirklich kostet.

Die Stack-Kosten

Der Stack ist nicht "Modell plus GPU". Produktion heißt Serving Runtime wie vLLM, Model Artifacts, Quantisierung, Autoscaling oder Queue-Control, Telemetrie, Logging-Regeln, Zugriffskontrolle, Eval Jobs, Rollout Gates, Incident Response und eine Fallback-Route, wenn das lokale Modell scheitert oder die GPU-Pool voll ist.

Oft ist hybrid der beste Punkt: lokal für günstige, stabile High-volume-Arbeit; API für harte Fälle, Overflow, multimodale Features, Tool-heavy Reasoning oder Aufgaben, bei denen Frontier-Qualität gewinnt. Dann wird der Break-even zum Routing-Rechner: lokaler Default, API-Fallback, gemessene Eskalationsrate, Eval als Qualitätsbremse.

Quellen und Live-Preis-Hinweis

Providerpreise und Modellnamen bewegen sich schnell. Die Formeln bleiben, die Preisbeispiele sind Snapshot vom Juli 2026. Prüfe OpenAI Pricing, Gemini API Pricing, Amazon Bedrock Pricing und Azure OpenAI Pricing vor einer Budgetentscheidung. Für Utilization und Serving-Annahmen: Beyond Per-Token Pricing und die vLLM-versus-TGI-Studie.