Welches lokale LLM läuft auf deiner Hardware? llmfit Guide

llmfit beantwortet die Frage, die vor jedem Download eines lokalen Modells kommen sollte: Was läuft auf diesem Rechner nicht nur irgendwie, sondern gut? Das kostenlose Terminal-Tool erkennt RAM, CPU, GPU und VRAM. Danach bewertet es Hunderte Modelle nach Speicher-Fit, geschätzter Geschwindigkeit, Qualität und nutzbarem Kontext. Zusätzlich wählt es die hochwertigste Quantisierung, die voraussichtlich passt.

Das kann dir einen 20-GB-Download und einen verlorenen Nachmittag ersparen. Es beweist aber nicht, dass das Modell für deinen Use Case genau genug, passend lizenziert oder unter Produktionslast schnell genug ist. Nutze llmfit für die Shortlist und benchmarke diese anschließend mit deiner Runtime und deinem echten Workload.

Du planst ein privates oder selbst gehostetes KI-Produkt und brauchst eine belastbare Entscheidung zu Modell, Hardware und Runtime?

KI-Architektur prüfen lassen

llmfit in 60 Sekunden

llmfit Fakten, geprüft am 27. Juli 2026
Frage	Antwort	Bedeutung für deine Entscheidung
Was ist llmfit?	Interaktive TUI und CLI für die Hardware-Dimensionierung lokaler LLMs	Du grenzt Modell und Quantisierung vor dem Download ein.
Was wird erkannt?	Verfügbarer RAM, CPU-Kerne, GPU, VRAM und Beschleunigungs-Backend	Die Empfehlung bezieht sich auf deinen Rechner statt auf eine allgemeine Speicherklasse.
Was wird bewertet?	Fit, geschätzte Geschwindigkeit, Qualität und Kontext	Das größte Modell landet nicht automatisch auf Platz eins.
Welche Systeme werden unterstützt?	Voller Support für Linux und Apple Silicon, eingeschränktere GPU-Erkennung unter Windows und Intel-Macs	Prüfe zuerst mit `llmfit system`, ob die Erkennung stimmt.
Welche Runtimes sind angebunden?	Ollama, llama.cpp, MLX, Docker Model Runner und LM Studio	Du kannst von der Empfehlung direkt zu Download und lokaler Runtime wechseln.
Versteht llmfit MoE?	Ja, das Tool trennt Gesamtparameter und aktive Parameter und modelliert Expert-Offloading	Mixtral- und DeepSeek-artige Modelle werden nicht wie dichte Modelle berechnet.
Ist llmfit kostenlos?	Ja, der Code steht unter der MIT-Lizenz	Die Lizenz jedes einzelnen Modells musst du trotzdem separat prüfen.
Garantiert der Score die Leistung?	Nein, er ist eine hardwarebezogene Schätzung	Teste echte Prompts, Kontext, Parallelität und Kaltstarts vor Produktion.

Installation und erste Empfehlung vor dem Modell-Download

Unter macOS und Linux ist Homebrew der einfachste Einstieg. Unter Windows funktioniert die Installation über Scoop. Wenn du uv nutzt, kannst du llmfit mit uvx einmalig ohne permanente Installation starten.

# macOS oder Linux
brew install llmfit

# Windows
scoop install llmfit

# Einmalig über uv starten
uvx llmfit

llmfit öffnet die interaktive Terminal-Oberfläche. Für einen reproduzierbaren Entscheidungsprozess sind diese CLI-Befehle besonders nützlich:

# Erkannte Hardware prüfen
llmfit system

# Fünf Empfehlungen für Coding als JSON
llmfit recommend --json --use-case coding --limit 5

# Annahmen für einen Kandidaten prüfen
llmfit info "MODELLNAME"

# Hardware für ein Modell mit 8K Kontext planen
llmfit plan "MODELLNAME" --context 8192 --json

Die offizielle CLI- und Automatisierungsreferenz dokumentiert außerdem Hardware-Overrides, Kontextlimits und eine lokale REST API. Dadurch eignet sich llmfit auch für Skripte und Node Scheduling.

Wie llmfit entscheidet, was passt

Zuerst erkennt llmfit das Beschleunigungs-Backend, zum Beispiel CUDA, Metal, ROCm, SYCL oder CPU. Danach vergleicht es jeden Katalogeintrag mit dem verfügbaren Speicher und einer Quantisierungshierarchie von Q8_0 bis Q2_K. Es versucht, die hochwertigste Quantisierung zu behalten, die passt. Reicht der Speicher beim vollen Kontext nicht, kann das Tool mit einem kürzeren Kontext neu rechnen.

Score	Was er abbildet	Was er nicht abbildet
Quality	Modellgröße, Ruf der Familie, Quantisierungsabzug und Use-Case-Fit	Deine Domänenqualität, Sprache, Safety und Tool-Calling-Tests
Speed	Geschätzte Tokens pro Sekunde aus Speicherbandbreite, Modellgröße und Laufmodus	Prompt-Verarbeitung, Batching, Thermik und Runtime-spezifische Kernel
Fit	Effiziente Speichernutzung mit bevorzugtem Puffer	Andere Prozesse, Display-Speicher und parallele Produktionsanfragen
Context	Angegebener Kontext im Verhältnis zum Ziel des Use Cases	Qualitätsverlust bei langem Kontext und den Wert deines tatsächlichen Kontexts

Die Gewichtung ändert sich je nach Use Case. Coding kann ein kleineres Spezialmodell vor einen großen Generalisten setzen. Reasoning gewichtet Qualität stärker, Chat die Geschwindigkeit. Das ist nützlicher als eine Sortierung nach Parametern, bleibt aber eine Heuristik. Deine Abnahmetests entscheiden.

Warum MoE-Support wichtig ist und was er nicht bedeutet

Mixture-of-Experts-Modelle veröffentlichen eine große Gesamtzahl an Parametern, aktivieren pro Token aber nur einen Teil des Netzes. Ein Rechner für dichte Modelle kann deshalb zu falschen Compute-Schlüssen kommen. llmfit liest MoE-Metadaten, berücksichtigt aktive Parameter und modelliert einen Pfad, bei dem aktive Experten im VRAM und inaktive Experten im RAM liegen.

Das bedeutet nicht, dass nur aktive Parameter Speicher brauchen. Die gesamten Gewichte müssen im Serving-Pfad verfügbar bleiben, meist in RAM, Storage oder beidem. Expert-Wechsel, CPU-Offload und PCIe-Verkehr beeinflussen die Geschwindigkeit. Die veröffentlichte Scoring-Dokumentation ist ein besserer Start als reine Parameterarithmetik. Der Runtime-Benchmark bleibt Pflicht.

Quantisierung: Der beste Fit ist nicht immer das beste Produkt

Quantisierung senkt den Speicherbedarf durch Gewichte mit geringerer Präzision. llmfit geht seine Qualitätsstufen abwärts, bis eine Konfiguration passt. Für Experimente ist das genau richtig. Für Produktion brauchst du zwei zusätzliche Grenzen:

Nutze dein echtes Kontextlimit. Ein Modell kann bei 4K passen und bei 32K wegen des wachsenden KV-Caches in den RAM ausweichen.
Definiere eine Qualitätsuntergrenze. Ein Q2-Modell, das lädt, ist nicht automatisch gut genug für Code, mehrere Sprachen oder strukturierte Ausgaben.

Plane mit llmfit plan und deinem vorgesehenen Kontext. Vergleiche anschließend mindestens zwei benachbarte Quantisierungen auf einem festen Testset. Wenn die bessere Variante knapp nicht passt, kann andere Hardware oder eine API die richtige Antwort sein.

Hardware-Erkennung prüfen

Plattform	Erkennung	Wichtiger Check
Linux mit NVIDIA	`nvidia-smi`, auch für mehrere GPUs	Prüfe VRAM pro Karte und den geplanten Tensor- oder Layer-Split.
Linux mit AMD	`rocm-smi`	VRAM kann unbekannt bleiben, dann brauchst du einen Override.
Apple Silicon	`system_profiler`, Unified Memory als geteilter Pool	Reserviere Speicher für macOS und andere Apps.
Intel Arc	sysfs bei diskreten Karten, `lspci` bei integrierter Grafik	Integrierter Speicher teilt sich den verfügbaren RAM.
Windows	RAM und CPU, NVIDIA über `nvidia-smi`	Nutze `llmfit doctor`, wenn GPU-Werte falsch aussehen.
Android oder Termux	Meist nur CPU und RAM	Mobile GPU-Erkennung wird aktuell nicht unterstützt.

Die offizielle Plattformmatrix beschreibt manuelle Overrides für --memory, --ram und --cpu-cores. Ein Override ändert die Empfehlung. Er ergänzt keine Runtime-Unterstützung, die Betriebssystem oder Inference Engine nicht bieten.

Fünf Checks zwischen grünem Fit und Produktion

Bestätige die erkannte Maschine. Speichere llmfit system --json mit der Entscheidung. Korrigiere fehlende oder geteilte Speicherwerte.
Filtere nach der echten Aufgabe. Wähle Coding, Reasoning, Chat, Multimodal oder Embedding statt eines allgemeinen Scores.
Fixiere Kontext und Parallelität. Modelliere erwartete Eingabelänge und gleichzeitige Anfragen statt einer Ein-Nutzer-Demo.
Benchmarke die Runtime. Miss Tokens pro Sekunde, Zeit bis zum ersten Token, Prompt-Verarbeitung, maximalen Speicher und Fehlerverhalten.
Prüfe das gesamte Deployment. Modelllizenz, Datenflüsse, Monitoring, Updates, Fallback, Security und Gesamtkosten gehören zur Entscheidung.

Ein Modell kann perfekt passen und kommerziell trotzdem falsch sein. Vergleiche Engineering und ungenutzte Kapazität mit API-Ausgaben über unseren Break-even-Guide für lokale Modelle und APIs. Der Hardware-Check zu Colibri GLM 5.2 zeigt an einem konkreten Modell, wie Speicher, Bandbreite und Workload die Antwort verändern.

Wann llmfit reicht und wann Engineering beginnt

Entscheidung	llmfit hilft bei	Zusätzlich nötig
Persönlicher lokaler Assistent	Shortlist und Quantisierung	Kurzer Qualitäts- und Speed-Test mit deinen Dokumenten
Workstation-Kauf	Hardware-Simulation und Upgrade-Abstand	Messwerte vergleichbarer Hardware und Gesamtsystemkosten
Interner Team-Pilot	Kandidatenranking und JSON-Ausgabe	Zugriff, Datenabgrenzung, Evaluation und Nutzungsmonitoring
Kundenprodukt	Frühe Kapazitätsannahmen	Lasttest, Autoscaling, Fallback, Safety, Lizenz und On-Call-Verantwortung
GPU-Cluster	Node-API für Fit und Filter	Topologiebezogene Platzierung, Tests heterogener GPUs und Recovery

Der saubere Weg ist gestuft. Schließe mit llmfit offensichtlich schlechte Kandidaten aus. Investiere Benchmark-Zeit nur in die besten zwei oder drei. Wechsle erst dann zu Self-Hosting, wenn gemessene Qualität, Latenz, Risiko und Gesamtkosten die verwaltete Alternative schlagen.

Grenzen für deinen Entscheidungsvermerk

Geschwindigkeit wird aus Speicherbandbreite, Modellgröße und Effizienzfaktoren geschätzt. Kernel und Workload können den Messwert verschieben.
Der Modellkatalog steckt in der Binary. Aktualisiere llmfit, um neue Katalogdaten zu erhalten.
Use-Case-Qualität basiert auf kuratierten Familien-Benchmarks und Fallbacks, nicht auf deinem privaten Testset.
Addierter VRAM mehrerer GPUs macht unterschiedliche Karten, Interconnects und Bandbreiten nicht identisch.
Ladefähigkeit sagt nichts über Lizenz, Prompt-Sicherheit, Domänengenauigkeit oder Betriebsreife aus.

Quellen und Claim-Grenzen

Installation, Befehle, Runtimes, Datenschutzverhalten und MIT-Lizenz stammen aus dem llmfit Repository. Hardware-Erkennung, Quantisierung, MoE, Scoring und Speed-Formeln stammen aus der How-it-works-Dokumentation. Plattformgrenzen stehen in der Support-Referenz. Der Ablauf für Tokens pro Sekunde und Zeit bis zum ersten Token kommt aus dem Benchmarking-Guide. Fakten wurden am 27. Juli 2026 geprüft. Wavect hat die Schätzungen für diesen Artikel nicht unabhängig benchmarked.

Häufige Fragen

Was ist llmfit?

llmfit ist ein kostenloses Terminal-Tool. Es erkennt RAM, CPU, GPU und VRAM und bewertet Hunderte lokale LLMs nach Speicher-Fit, geschätzter Geschwindigkeit, Qualität und Kontext. Es bietet TUI, CLI, JSON-Empfehlungen und eine lokale REST API.

Wie finde ich heraus, welches LLM auf meinem PC läuft?

Installiere llmfit, prüfe mit llmfit system die Hardware-Erkennung und starte dann llmfit recommend --json --use-case coding --limit 5. Ersetze coding durch deinen Use Case und untersuche Kandidaten vor dem Download mit llmfit info.

Unterstützt llmfit Apple Silicon und NVIDIA GPUs?

Ja. Apple Silicon wird über Unified Memory und system_profiler erkannt. NVIDIA nutzt nvidia-smi, auch für mehrere GPUs. Linux hat den breitesten Support. Unter Windows konzentriert sich die GPU-Erkennung aktuell auf NVIDIA.

Berechnet llmfit MoE-Modelle korrekt?

llmfit erkennt Mixture-of-Experts-Metadaten und trennt Gesamtparameter von aktiven Parametern. Das Tool modelliert aktive Experten im VRAM und inaktive Experten im RAM. Benchmarke trotzdem Speicherverkehr und Runtime-Speed.

Garantiert ein Perfect Fit ein schnelles Modell?

Nein. Perfect bedeutet, dass das Modell das empfohlene GPU-Speicherziel erfüllt. Die Geschwindigkeit bleibt eine Schätzung. Kontext, Batching, Offload, Kernel und parallele Nutzer verändern den realen Durchsatz.

Ist llmfit kostenlos und privat?

llmfit ist kostenlos und MIT-lizenziert. Laut Dokumentation überträgt es keine Daten, außer du startest ausdrücklich eine Netzwerkfunktion wie Download, Provider-Abfrage oder Community Leaderboard. Modelle haben eigene Lizenzen und Datenrisiken.

Sollte ein Unternehmen llmfit vor einem Hardwarekauf nutzen?

Ja, als frühen Sizing-Filter. Simuliere RAM, VRAM und CPU, erstelle eine Shortlist und validiere den Kauf mit Messwerten, realistischem Kontext, Parallelität, Lizenz, Strom, Redundanz und Betriebskosten.

Fazit

Starte llmfit, bevor du Gewichte herunterlädst oder eine GPU auswählst. Das Tool verwandelt Hardwaredaten in eine belastbare Shortlist und macht Quantisierung, MoE und Kontextgrenzen früh sichtbar.

Behandle den Score danach nicht als fertige Entscheidung. Serve die besten Kandidaten, nutze dein echtes Testset, miss Latenz und Speicher über den gesamten Workload und kalkuliere den Betrieb. Das beste Modell ist nicht das größte, das lädt. Es ist das kleinste zuverlässige System, das deine Ziele für Qualität, Latenz, Datenschutz und Kosten erreicht.

Du willst aus einer lokalen Modell-Shortlist eine Produktionsarchitektur, einen Benchmark-Plan und eine Build-versus-API-Entscheidung machen?

Lokalen KI-Piloten planen