Mesh LLM im Test: Ein großes LLM auf mehreren Rechnern ausführen?

Zurück
Kevin Riedl

13 min Lesezeit · 18. Juli 2026
Zuletzt geprüft

Weiter
Entsteht auf deinem Gerät, ohne Instagram-Verbindung. Den Beitragslink kopieren wir für deinen Link-Sticker.

Ja. Mesh LLM kann ein unterstütztes großes Sprachmodell über mehrere Rechner ausführen, wenn keine Maschine allein genug Speicher hat. Die Skippy-Runtime weist ausgewählten Peers zusammenhängende Layer-Bereiche zu. Jeder Peer lädt die GGUF-Fragmente seiner Stage, während Aktivierungen für jedes erzeugte Token durch die Pipeline wandern. Die Anwendung spricht weiter nur mit http://localhost:9337/v1.

Für die Kaufentscheidung fehlt noch ein Satz: Gemeinsame Kapazität bedeutet nicht automatisch gemeinsame Geschwindigkeit. Jede zusätzliche Stage bringt Netzwerkkommunikation in den seriellen Decode-Pfad. Der langsamste Peer kann die gesamte Pipeline begrenzen. Mesh LLM ist besonders interessant, wenn das benötigte Modell auf keine einzelne Maschine passt. Passt es bereits lokal, ist der einzelne Host meist schneller und zuverlässiger.

11. November 2026. Gegenstand dieses Reviews ist Mesh LLM v0.79.0, die stabile Version vom 10. November. Das Projekt ist experimentell und entwickelt sich schnell. Miss die reale Last auf deiner eigenen Hardware, bevor du die Installation dimensionierst.

Mesh LLM für eine technische Kaufentscheidung
FrageAktuelle AntwortGeschäftliche Bedeutung
Welches Problem löst es?Lokale, geroutete und verteilte Inferenz hinter einer APIVorhandene Rechner nutzen, bevor du einen größeren Host kaufst.
Wie wird geteilt?Zusammenhängende Layer-Stages mit AktivierungsübergabenEine Anfrage läuft durch mehrere Rechner. Das ist Model Parallelism, kein normales Load Balancing.
ArtefakteGGUF und paketierte Layer-FragmenteSupport hängt von Runtime, Artefakt und geprüfter Split-Grenze ab.
Client-SchnittstelleOpenAI-kompatibles /v1 auf Port 9337Oft reicht eine neue Base URL statt neuer App-Orchestrierung.
NetzwerkQUIC über iroh, Tokens, Nostr oder LAN-DiscoveryEinfachere Verbindung, aber Latenz und Vertrauen bleiben deine Verantwortung.
LizenzApache 2.0Runtime kommerziell permissiv, Modelllizenz separat prüfen.
ProduktionsnachweisVielversprechend, aber wenige generalisierbare Split-BenchmarksVor produktiver Nutzung ist ein begrenzter Pilot Pflicht.

Was ist Mesh LLM?

Mesh LLM ist eine Apache-2.0-Runtime für verteilte LLM-Inferenz. Jeder Node stellt dieselbe OpenAI-kompatible API bereit. Das Mesh kann ein Modell lokal ausführen, eine komplette Anfrage an einen passenden Peer routen oder ein Modell mit Skippy über mehrere Peers teilen.

  1. Lokal: Das aktuelle Gerät führt das ganze Modell aus, wenn es passt. Kein Netzwerk-Overhead.
  2. Peer Routing: Die komplette Anfrage geht an einen Rechner, der das Modell bereits anbietet.
  3. Stage Split: Mehrere Rechner führen unterschiedliche Layer-Bereiche derselben Anfrage aus.

Die Anwendung sieht nur Modellname, Request und Response. Placement, Peer-Auswahl, Downloads, Readiness und Recovery bleiben trotzdem echte Infrastrukturaufgaben.

Wie teilt Skippy ein LLM auf mehrere Rechner?

Skippy ist als eigenständiges CLI verfügbar und übernimmt lokale Ausführung, Layer-Pakete und Stage-Serving. Mesh LLM ergänzt Peer-Erkennung, Anfrage-Routing und Transport. Im Pilot kannst du mit Skippy allein prüfen, wie sich die Stages ohne Discovery und Routing verhalten.

Der dokumentierte Skippy-Ablauf ist eine Pipeline:

  1. Der Coordinator löst Modell oder Layer-Paket auf.
  2. Der Topology Planner wählt geeignete Peers und zusammenhängende Layer-Bereiche.
  3. Die letzte Stage lädt zuerst, danach die vorgelagerten Stages.
  4. Jeder Peer lädt gemeinsame Metadaten und nur seine Layer-Dateien.
  5. Stage 0 wird erst geroutet, wenn alle benötigten Stages bereit sind.
  6. Prompt und Aktivierungen laufen nach hinten, das vorhergesagte Token zurück in den OpenAI-Stream.

Bei 48 Layern könnte Rechner A die Layer 0 bis 15 übernehmen, B die Layer 16 bis 31 und C die Layer 32 bis 47 plus Output Head. Es laufen nicht drei unabhängige Modelle. Es ist ein Inferenzpfad mit zwei Netzwerkgrenzen.

Layer-Pakete enthalten Manifest, gemeinsame Artefakte, Hashes und einzeln auflösbare GGUF-Fragmente. Für produktionsnahe Tests empfiehlt das Projekt unveränderliche Hugging-Face-Revisionen und Zertifizierung gegen Größen, SHA, Manifest, fehlende Dateien und echte /v1-Antworten. Ein beliebiges GGUF ist nicht automatisch ein sicherer Multi-Node-Split.

Ist Mesh LLM nur Load Balancing?

Nein. Load Balancing verteilt vollständige Anfragen auf vollständige Modellkopien. Ein Skippy-Split schickt dieselbe Anfrage durch mehrere Rechner.

Wenn jedes Modell bereits auf einen Rechner passt und unabhängige Agent-Calls in der Queue warten, lies unseren NVIDIA-PAIR-Test mit AMD-ROCm-Analyse. PAIR platziert jede vollständige Anfrage auf einem geeigneten lokalen Node und löst damit ein anderes Problem als die Layer-Stage-Pipeline von Mesh LLM.

MusterWas bewegt sich?Ziel
Load BalancingKomplette Anfrage zu einer ModellkopieConcurrency und Verfügbarkeit
Peer RoutingKomplette Anfrage zum Modell-HostVerteiltes Modellinventar nutzen
Pipeline SplitZwischenaktivierungen zwischen Layer-StagesEin Modell in kombinierten Speicher einpassen
Tensor ParallelismTeilergebnisse innerhalb vieler LayerLayer-Berechnung parallelisieren

Drei 24-GB-GPUs werden deshalb nicht zu einer wörtlichen 72-GB-GPU. Software macht kombinierte Kapazität nutzbar. Memory Bandwidth, Rechenleistung und Fehlerrisiko bleiben verteilt.

Wie viel Performance kostet verteilte Inferenz?

Ein älterer WLAN-Test des Projekts mit dem 17 GB großen Artefakt GLM-4.7-Flash Q4 zeigt die Kosten zusätzlicher Stages. Diese Werte stehen weiterhin in der Dokumentation der aktuellen Version. Historische Benchmark-Tabelle.

First-Party-Beispiel, von uns nicht reproduziert
KonfigurationGemeldetRelativ zu Solo
Solo, ohne Mesh68 tok/s100 %
Zwei Nodes, 85/1521 tok/s31 %
Drei Nodes, 62/31/812 bis 13 tok/s18 bis 19 %

Das Modell passte bereits auf einen Rechner. Der Test zeigt daher Overhead, ohne den eigentlichen Kapazitätsvorteil zu liefern. Er beweist weder einen universellen Skippy-Verlust noch einen aktuellen Vergleich aller Backend-Pfade. Die richtige Schlussfolgerung lautet: Erwarte keinen linearen Speedup.

Das Planner-Dokument liefert ein besseres Modell. Bei beispielhaften 10 ms pro Stage-Transfer entsteht für zwei Stages ein Netzwerkboden von 20 ms pro Token, für drei 30 ms und für vier 40 ms, noch vor Compute. Der Topology Planner bevorzugt deshalb weniger physische Hops, sobald der Speicher reicht. Das aktuelle Placement bewertet die Latenz zwischen Coordinator und Node, erhält im Produktivpfad aber noch keine Peer-to-Peer-RTT-Matrix. Deshalb kann es die Nähe entfernter Stages untereinander nicht vollständig optimieren.

Die Rechnung beschreibt serielle Dekodierung ohne spekulative Dekodierung. v0.79.0 enthält Decode-Batching in der letzten Stage, eine leistungsabhängige Aktivierung spekulativer Dekodierung und eine Prüfung, ob der KV-Cache für die angefragte Zahl paralleler Lanes ausreicht. Miss mit dem tatsächlichen Kontext und der erwarteten Parallelität.

Was entscheidet über die reale Geschwindigkeit?

  • Latenz pro Stage: Autoregressives Decode wiederholt die Übergabe für jedes Token. Kabel-LAN und überlastetes WLAN sind zwei verschiedene Produkte.
  • Langsamste Stage: Eine schwache GPU, CPU-Offload, Thermik oder Hintergrundlast begrenzt die Pipeline.
  • Kontext und Cache: Gewichte sind nur ein Teil. KV- oder recurrent state wächst mit Context und Concurrency.
  • Wire-Datentyp: Jede aktuelle Stage-Grenze überträgt raw little-endian f32. Historische f16- und q8-Ergebnisse sind Forschungsbelege, keine wählbaren Produktionsformate.
  • Verfügbarkeit: Schlafender Laptop, Neustart oder WLAN-Wechsel unterbrechen einen erforderlichen Stage-Pfad.

Die Support-Matrix nennt für geprüfte Artefakte Split-Punkte, den festen Wire-Typ, Cache-Policy und Topologiegrenzen. „Die Architektur läuft in llama.cpp“ und „dieser Split ist zertifiziert“ sind verschiedene Aussagen.

Welche Modelle und Hardware werden unterstützt?

Die Matrix enthält geprüfte Artefakte aus Familien wie Qwen, Llama, DeepSeek, GLM, Gemma, Phi, Granite, Hunyuan, Mamba, RWKV und Falcon sowie ausgewählte multimodale Modelle. Support variiert nach Quantisierung, Projektor, Cache, Wire-Typ und Split-Grenze. Nutze das empfohlene Artefakt und prüfe Paket plus Runtime.

Die Assets von v0.79.0 umfassen macOS auf Apple Silicon mit Metal, Linux x86-64 und Windows x86-64 mit CPU, CUDA, ROCm und Vulkan sowie Linux ARM64 mit CPU und CUDA. Wähle das Bundle für Betriebssystem, Architektur und Backend und prüfe Treiber und Start auf jedem Host. Für Skippy gibt es separate Bundles.

Wie privat ist ein Mesh?

Private Meshes starten mit Invite Token. Veröffentlichte Meshes nutzen Nostr zur Discovery. Der LAN-Modus mit mDNS vermeidet Nostr-Relays, öffentliche iroh-Relays und rohe öffentliche STUN-Prüfung. Mesh-Verkehr einschließlich Prompts, Antworten und Split-Aktivierungen ist über QUIC Ende-zu-Ende verschlüsselt. Im normalen Nostr-Modus kann iroh auf ein verwaltetes Relay ausweichen, das verschlüsselte Pakete weiterleitet.

Lege die Zugangsregeln beim Erstellen des Mesh fest. Der Security-Leitfaden unterscheidet signierte Bootstrap-Token und unveränderliche Versions-, Protokoll- und Attestierungsanforderungen vom lokalen Vertrauen in Mesh-Owner und von Allowlisten. Für geänderte unveränderliche Anforderungen brauchst du ein neues Mesh und neue Bootstrap-Token. Die Build-Attestierung prüft die Herkunft des Releases. Die Integrität von Prozess, Betriebssystem und Hardware auf entfernten Hosts braucht eigene Kontrollen.

Für vertrauliche Prompts brauchst du ein privat betriebenes Mesh, klare Owner- und Admission-Policy, geschützte Tokens, eingeschränkte Listener und geprüfte Logs. Öffentliche Discovery ist kein Confidential Computing.

Mesh LLM vs. Exo, llama.cpp RPC und vLLM

OptionBester FitUnterschied
Mesh LLMHeterogene Rechner, GGUF-Pakete, operator-kontrolliertes MeshLokal, Routing und Layer-Splits hinter einer API
ExoApple-Silicon-Cluster mit schneller Thunderbolt-VerbindungDie offizielle Übersicht dokumentiert MLX, topologiebasiertes Placement und Tensor Parallelism
llama.cpp RPCTechnische Teams mit eigener TopologieNiedrigere Proof-of-Concept-Ebene, laut eigener Dokumentation fragil und unsicher in offenen oder sensiblen Netzen
vLLMProduktive GPU-Server mit Datacenter-NetzwerkDie offizielle Anleitung beschreibt Multi-Node Tensor und Pipeline Parallelism und empfiehlt identische Laufzeitumgebungen
API GatewayRouting zu vollständigen lokalen oder Cloud-BackendsMacht ein zu großes Einzelmodell nicht über mehrere Maschinen passend

Dieser Artikel beantwortet die Kapazitäts- und Topologiefrage. Für die Finanzentscheidung nutze unseren Break-even-Vergleich lokaler Modelle gegen APIs. Wenn du verteiltes Apple Silicon per API nutzen statt ein privates Mesh betreiben willst, lies unseren Darkbloom-AI-Test zu Privacy, Preisen und Provider-Erlösen. Für die Modellauswahl dient der Open-Weight-LLM-Vergleich. So entscheidet nicht die interessanteste Runtime automatisch über die Geschäftsarchitektur.

Wer sollte Mesh LLM testen?

SituationUrteilWarum
Zwei bis vier ungenutzte Workstations im schnellen LANGuter PilotKlare freie Kapazität und messbares Netzwerk
Benötigtes Modell ist knapp zu groß für jeden HostStärkster Use CaseZwei Stages können Qualität ohne Neukauf erhalten
Private Forschung oder Batch mit flexibler LatenzGuter FitKapazität und Kontrolle zählen mehr als Interaktivität
Modell läuft bereits gut auf einem HostLokal bleibenSplit fügt Overhead und Fehlerpfade hinzu
Kunden-API mit harter SLAErst belegenLast, Ausfall, Recovery und Tail Latency testen
Sensible Daten auf unbekannten Public PeersNicht verwendenDiscovery und Build-Signatur beweisen keinen Host Trust

Sind freie GPUs besser als neue Workstation oder Hosted API?

 AI-Architektur prüfen lassen

Sieben Schritte für einen belastbaren Pilot

  1. Definiere 30 bis 100 echte Prompts, Context, Output, Concurrency und Qualitätsrubrik.
  2. Messe den besten Einzelrechner: TTFT, tok/s, Peak Memory, Task Success, Strom und Fehler.
  3. Wähle ein geprüftes Artefakt mit unveränderlicher Revision und prüfe seine Lizenz.
  4. Beginne mit zwei verkabelten Nodes. Füge nur aus Speichergründen weitere Stages hinzu.
  5. Teste realistischen Context und Concurrency, nicht nur einen „OK“-Prompt.
  6. Unterbrich einen Peer absichtlich und prüfe Erkennung, Withdrawal, Recovery und Client-Fehler.
  7. Vergleiche Kosten pro erfolgreicher Aufgabe inklusive Engineering, Strom, Abschreibung, Redundanz und API-Fallback.

Die Entscheidung braucht am Ende messbare Grenzen: größtes passendes Modell, kleinste ausreichend schnelle Stage-Anzahl, Failure Budget, Trust Boundary und Fallback. Unsere Twinsoft-AI-Fallstudie und der Leitfaden zur Tech-Stack-Auswahl folgen demselben Prinzip.

Quellen und Methode

Architektur, Befehle, API, Artefakte, Support, Security und Benchmarks stammen aus dem Mesh-LLM-Repository sowie den oben verlinkten Primärdokumenten zu Skippy, Planner, Familienstatus, Mesh-Trust, Releases und Benchmarks. Ergänzend nutzten wir die offizielle llama.cpp-RPC-Dokumentation. Wir haben die Hardware-Benchmarks nicht reproduziert. Alle Projektfakten wurden am 11. November 2026 geprüft. Flüchtige Zahlen wie Stars und Familienanzahl lassen wir bewusst weg.

Ein Forschungsbeispiel statt einer Implementierungsanleitung bietet unsere Analyse von Anthropics KI-Replikation und TV-Box-Experimenten. Sie trennt die verteilte Inferenzdemo vom kontrollierten Replikationstest und zeigt, wie sich Betriebskontrolle prüfen lässt.

Häufige Fragen

Kann Mesh LLM GPUs aus mehreren Rechnern kombinieren?
Ja. Skippy verteilt für unterstützte Artefakte zusammenhängende Modell-Layer auf Peers und leitet Aktivierungen weiter. Das schafft gemeinsame Kapazität, aber keine wörtliche Shared-Memory-GPU.
Ist Mesh LLM normales Load Balancing?
Nein. Load Balancing schickt eine vollständige Anfrage an eine vollständige Modellkopie. Ein Skippy-Split führt dieselbe Anfrage nacheinander durch mehrere Layer-Stages.
Macht verteilte LLM-Inferenz die Ausgabe schneller?
Nicht automatisch. Sie kann ein größeres Modell passend machen, fügt aber serielle Netzwerkübergaben hinzu. Wenn das Modell lokal passt, ist ein Rechner meist schneller.
Welche API bietet Mesh LLM?
Jeder Node stellt eine OpenAI-kompatible API unter http://localhost:9337/v1 bereit.
Lädt jeder Rechner das ganze Modell?
Bei Paket-Splits lädt jeder Peer gemeinsame Artefakte plus die Layer-Dateien seiner Stage.
Kann Mesh LLM über das Internet laufen?
Ja, über iroh und Relay-Fallback. Die interaktive Split-Performance hängt jedoch von jeder Stage-Latenz ab. Ein kabelgebundenes LAN ist der bessere Start.
Ist Mesh LLM für vertrauliche Unternehmensdaten geeignet?
Nur in einem privat und kontrolliert betriebenen Mesh mit Owner- und Admission-Policy, geschützten Tokens, eingeschränkten Listenern und geprüften Logs. Public Discovery allein reicht nicht.
Wann sollte ein Unternehmen lieber eine größere GPU kaufen?
Bevorzuge einen Host, wenn er Qualität, Context, Concurrency, Latenz und Verfügbarkeit erfüllt. Teste ein Mesh, wenn das benötigte Modell jeden Host überschreitet und schnelle freie Rechner vorhanden sind.

Fazit

Mesh LLM stellt die richtige Kapazitätsfrage: Welches Modell können diese Rechner gemeinsam ausführen? Skippy kann zusammenhängende Layer-Stages verteilen, nur benötigte Paket-Fragmente laden und die Anwendung auf einer OpenAI-kompatiblen API halten.

Die Grenze bleibt Physik. Decode läuft seriell durch Stages, Latenz wiederholt sich pro Token, der langsamste Peer bestimmt das Tempo und jeder benötigte Node vergrößert die Failure Domain. Nutze Mesh LLM, wenn kombinierter Speicher ein sonst unmögliches Modell freischaltet. Bleib lokal, wenn es bereits passt. Lass einen gemessenen Zwei-Node-Pilot entscheiden, ob freie Hardware wirklich günstiger ist als eine größere Maschine oder ein Hosted Endpoint.

Hilfe für KI in Produktion

Du baust ein KI-Produkt und machst dir Sorgen um Inference-Kosten, Architektur oder Production Readiness? Wavect hilft Gründern, KI-Prototypen in zuverlässige Produktionssysteme zu verwandeln.

Passender Service:

Postfach, ohne Lärm

Folge der Arbeit, die für dich zählt

Du bekommst eine kurze E-Mail, wenn wir etwas Neues veröffentlichen. Folge dem ganzen Blog oder nur den Themen, die dich interessieren.

Was möchtest du erhalten?
Themen auswählen

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.

Zurück
Kevin Riedl

13 min Lesezeit · 18. Juli 2026
Zuletzt geprüft

Weiter

Erhalte die nächste Feldnotiz zu AI und Agents

Eine kurze E-Mail, wenn wir veröffentlichen. Ohne Tracking-Pixel und ohne Postfachfüller.

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.