In diesem Beitrag
Mesh LLM im Test: Ein großes LLM auf mehreren Rechnern ausführen?
Ja. Mesh LLM kann ein unterstütztes großes Sprachmodell über mehrere Rechner ausführen, wenn keine Maschine allein genug Speicher hat. Die Skippy-Runtime weist ausgewählten Peers zusammenhängende Layer-Bereiche zu. Jeder Peer lädt die GGUF-Fragmente seiner Stage, während Aktivierungen für jedes erzeugte Token durch die Pipeline wandern. Die Anwendung spricht weiter nur mit http://localhost:9337/v1.
Für die Kaufentscheidung fehlt noch ein Satz: Gemeinsame Kapazität bedeutet nicht automatisch gemeinsame Geschwindigkeit. Jede zusätzliche Stage bringt Netzwerkkommunikation in den seriellen Decode-Pfad. Der langsamste Peer kann die gesamte Pipeline begrenzen. Mesh LLM ist besonders interessant, wenn das benötigte Modell auf keine einzelne Maschine passt. Passt es bereits lokal, ist der einzelne Host meist schneller und zuverlässiger.
11. November 2026. Gegenstand dieses Reviews ist Mesh LLM v0.79.0, die stabile Version vom 10. November. Das Projekt ist experimentell und entwickelt sich schnell. Miss die reale Last auf deiner eigenen Hardware, bevor du die Installation dimensionierst.
| Frage | Aktuelle Antwort | Geschäftliche Bedeutung |
|---|---|---|
| Welches Problem löst es? | Lokale, geroutete und verteilte Inferenz hinter einer API | Vorhandene Rechner nutzen, bevor du einen größeren Host kaufst. |
| Wie wird geteilt? | Zusammenhängende Layer-Stages mit Aktivierungsübergaben | Eine Anfrage läuft durch mehrere Rechner. Das ist Model Parallelism, kein normales Load Balancing. |
| Artefakte | GGUF und paketierte Layer-Fragmente | Support hängt von Runtime, Artefakt und geprüfter Split-Grenze ab. |
| Client-Schnittstelle | OpenAI-kompatibles /v1 auf Port 9337 | Oft reicht eine neue Base URL statt neuer App-Orchestrierung. |
| Netzwerk | QUIC über iroh, Tokens, Nostr oder LAN-Discovery | Einfachere Verbindung, aber Latenz und Vertrauen bleiben deine Verantwortung. |
| Lizenz | Apache 2.0 | Runtime kommerziell permissiv, Modelllizenz separat prüfen. |
| Produktionsnachweis | Vielversprechend, aber wenige generalisierbare Split-Benchmarks | Vor produktiver Nutzung ist ein begrenzter Pilot Pflicht. |
Was ist Mesh LLM?
Mesh LLM ist eine Apache-2.0-Runtime für verteilte LLM-Inferenz. Jeder Node stellt dieselbe OpenAI-kompatible API bereit. Das Mesh kann ein Modell lokal ausführen, eine komplette Anfrage an einen passenden Peer routen oder ein Modell mit Skippy über mehrere Peers teilen.
- Lokal: Das aktuelle Gerät führt das ganze Modell aus, wenn es passt. Kein Netzwerk-Overhead.
- Peer Routing: Die komplette Anfrage geht an einen Rechner, der das Modell bereits anbietet.
- Stage Split: Mehrere Rechner führen unterschiedliche Layer-Bereiche derselben Anfrage aus.
Die Anwendung sieht nur Modellname, Request und Response. Placement, Peer-Auswahl, Downloads, Readiness und Recovery bleiben trotzdem echte Infrastrukturaufgaben.
Wie teilt Skippy ein LLM auf mehrere Rechner?
Skippy ist als eigenständiges CLI verfügbar und übernimmt lokale Ausführung, Layer-Pakete und Stage-Serving. Mesh LLM ergänzt Peer-Erkennung, Anfrage-Routing und Transport. Im Pilot kannst du mit Skippy allein prüfen, wie sich die Stages ohne Discovery und Routing verhalten.
Der dokumentierte Skippy-Ablauf ist eine Pipeline:
- Der Coordinator löst Modell oder Layer-Paket auf.
- Der Topology Planner wählt geeignete Peers und zusammenhängende Layer-Bereiche.
- Die letzte Stage lädt zuerst, danach die vorgelagerten Stages.
- Jeder Peer lädt gemeinsame Metadaten und nur seine Layer-Dateien.
- Stage 0 wird erst geroutet, wenn alle benötigten Stages bereit sind.
- Prompt und Aktivierungen laufen nach hinten, das vorhergesagte Token zurück in den OpenAI-Stream.
Bei 48 Layern könnte Rechner A die Layer 0 bis 15 übernehmen, B die Layer 16 bis 31 und C die Layer 32 bis 47 plus Output Head. Es laufen nicht drei unabhängige Modelle. Es ist ein Inferenzpfad mit zwei Netzwerkgrenzen.
Layer-Pakete enthalten Manifest, gemeinsame Artefakte, Hashes und einzeln auflösbare GGUF-Fragmente. Für produktionsnahe Tests empfiehlt das Projekt unveränderliche Hugging-Face-Revisionen und Zertifizierung gegen Größen, SHA, Manifest, fehlende Dateien und echte /v1-Antworten. Ein beliebiges GGUF ist nicht automatisch ein sicherer Multi-Node-Split.
Ist Mesh LLM nur Load Balancing?
Nein. Load Balancing verteilt vollständige Anfragen auf vollständige Modellkopien. Ein Skippy-Split schickt dieselbe Anfrage durch mehrere Rechner.
Wenn jedes Modell bereits auf einen Rechner passt und unabhängige Agent-Calls in der Queue warten, lies unseren NVIDIA-PAIR-Test mit AMD-ROCm-Analyse. PAIR platziert jede vollständige Anfrage auf einem geeigneten lokalen Node und löst damit ein anderes Problem als die Layer-Stage-Pipeline von Mesh LLM.
| Muster | Was bewegt sich? | Ziel |
|---|---|---|
| Load Balancing | Komplette Anfrage zu einer Modellkopie | Concurrency und Verfügbarkeit |
| Peer Routing | Komplette Anfrage zum Modell-Host | Verteiltes Modellinventar nutzen |
| Pipeline Split | Zwischenaktivierungen zwischen Layer-Stages | Ein Modell in kombinierten Speicher einpassen |
| Tensor Parallelism | Teilergebnisse innerhalb vieler Layer | Layer-Berechnung parallelisieren |
Drei 24-GB-GPUs werden deshalb nicht zu einer wörtlichen 72-GB-GPU. Software macht kombinierte Kapazität nutzbar. Memory Bandwidth, Rechenleistung und Fehlerrisiko bleiben verteilt.
Wie viel Performance kostet verteilte Inferenz?
Ein älterer WLAN-Test des Projekts mit dem 17 GB großen Artefakt GLM-4.7-Flash Q4 zeigt die Kosten zusätzlicher Stages. Diese Werte stehen weiterhin in der Dokumentation der aktuellen Version. Historische Benchmark-Tabelle.
| Konfiguration | Gemeldet | Relativ zu Solo |
|---|---|---|
| Solo, ohne Mesh | 68 tok/s | 100 % |
| Zwei Nodes, 85/15 | 21 tok/s | 31 % |
| Drei Nodes, 62/31/8 | 12 bis 13 tok/s | 18 bis 19 % |
Das Modell passte bereits auf einen Rechner. Der Test zeigt daher Overhead, ohne den eigentlichen Kapazitätsvorteil zu liefern. Er beweist weder einen universellen Skippy-Verlust noch einen aktuellen Vergleich aller Backend-Pfade. Die richtige Schlussfolgerung lautet: Erwarte keinen linearen Speedup.
Das Planner-Dokument liefert ein besseres Modell. Bei beispielhaften 10 ms pro Stage-Transfer entsteht für zwei Stages ein Netzwerkboden von 20 ms pro Token, für drei 30 ms und für vier 40 ms, noch vor Compute. Der Topology Planner bevorzugt deshalb weniger physische Hops, sobald der Speicher reicht. Das aktuelle Placement bewertet die Latenz zwischen Coordinator und Node, erhält im Produktivpfad aber noch keine Peer-to-Peer-RTT-Matrix. Deshalb kann es die Nähe entfernter Stages untereinander nicht vollständig optimieren.
Die Rechnung beschreibt serielle Dekodierung ohne spekulative Dekodierung. v0.79.0 enthält Decode-Batching in der letzten Stage, eine leistungsabhängige Aktivierung spekulativer Dekodierung und eine Prüfung, ob der KV-Cache für die angefragte Zahl paralleler Lanes ausreicht. Miss mit dem tatsächlichen Kontext und der erwarteten Parallelität.
Was entscheidet über die reale Geschwindigkeit?
- Latenz pro Stage: Autoregressives Decode wiederholt die Übergabe für jedes Token. Kabel-LAN und überlastetes WLAN sind zwei verschiedene Produkte.
- Langsamste Stage: Eine schwache GPU, CPU-Offload, Thermik oder Hintergrundlast begrenzt die Pipeline.
- Kontext und Cache: Gewichte sind nur ein Teil. KV- oder recurrent state wächst mit Context und Concurrency.
- Wire-Datentyp: Jede aktuelle Stage-Grenze überträgt raw little-endian f32. Historische f16- und q8-Ergebnisse sind Forschungsbelege, keine wählbaren Produktionsformate.
- Verfügbarkeit: Schlafender Laptop, Neustart oder WLAN-Wechsel unterbrechen einen erforderlichen Stage-Pfad.
Die Support-Matrix nennt für geprüfte Artefakte Split-Punkte, den festen Wire-Typ, Cache-Policy und Topologiegrenzen. „Die Architektur läuft in llama.cpp“ und „dieser Split ist zertifiziert“ sind verschiedene Aussagen.
Welche Modelle und Hardware werden unterstützt?
Die Matrix enthält geprüfte Artefakte aus Familien wie Qwen, Llama, DeepSeek, GLM, Gemma, Phi, Granite, Hunyuan, Mamba, RWKV und Falcon sowie ausgewählte multimodale Modelle. Support variiert nach Quantisierung, Projektor, Cache, Wire-Typ und Split-Grenze. Nutze das empfohlene Artefakt und prüfe Paket plus Runtime.
Die Assets von v0.79.0 umfassen macOS auf Apple Silicon mit Metal, Linux x86-64 und Windows x86-64 mit CPU, CUDA, ROCm und Vulkan sowie Linux ARM64 mit CPU und CUDA. Wähle das Bundle für Betriebssystem, Architektur und Backend und prüfe Treiber und Start auf jedem Host. Für Skippy gibt es separate Bundles.
Wie privat ist ein Mesh?
Private Meshes starten mit Invite Token. Veröffentlichte Meshes nutzen Nostr zur Discovery. Der LAN-Modus mit mDNS vermeidet Nostr-Relays, öffentliche iroh-Relays und rohe öffentliche STUN-Prüfung. Mesh-Verkehr einschließlich Prompts, Antworten und Split-Aktivierungen ist über QUIC Ende-zu-Ende verschlüsselt. Im normalen Nostr-Modus kann iroh auf ein verwaltetes Relay ausweichen, das verschlüsselte Pakete weiterleitet.
Lege die Zugangsregeln beim Erstellen des Mesh fest. Der Security-Leitfaden unterscheidet signierte Bootstrap-Token und unveränderliche Versions-, Protokoll- und Attestierungsanforderungen vom lokalen Vertrauen in Mesh-Owner und von Allowlisten. Für geänderte unveränderliche Anforderungen brauchst du ein neues Mesh und neue Bootstrap-Token. Die Build-Attestierung prüft die Herkunft des Releases. Die Integrität von Prozess, Betriebssystem und Hardware auf entfernten Hosts braucht eigene Kontrollen.
Für vertrauliche Prompts brauchst du ein privat betriebenes Mesh, klare Owner- und Admission-Policy, geschützte Tokens, eingeschränkte Listener und geprüfte Logs. Öffentliche Discovery ist kein Confidential Computing.
Mesh LLM vs. Exo, llama.cpp RPC und vLLM
| Option | Bester Fit | Unterschied |
|---|---|---|
| Mesh LLM | Heterogene Rechner, GGUF-Pakete, operator-kontrolliertes Mesh | Lokal, Routing und Layer-Splits hinter einer API |
| Exo | Apple-Silicon-Cluster mit schneller Thunderbolt-Verbindung | Die offizielle Übersicht dokumentiert MLX, topologiebasiertes Placement und Tensor Parallelism |
| llama.cpp RPC | Technische Teams mit eigener Topologie | Niedrigere Proof-of-Concept-Ebene, laut eigener Dokumentation fragil und unsicher in offenen oder sensiblen Netzen |
| vLLM | Produktive GPU-Server mit Datacenter-Netzwerk | Die offizielle Anleitung beschreibt Multi-Node Tensor und Pipeline Parallelism und empfiehlt identische Laufzeitumgebungen |
| API Gateway | Routing zu vollständigen lokalen oder Cloud-Backends | Macht ein zu großes Einzelmodell nicht über mehrere Maschinen passend |
Dieser Artikel beantwortet die Kapazitäts- und Topologiefrage. Für die Finanzentscheidung nutze unseren Break-even-Vergleich lokaler Modelle gegen APIs. Wenn du verteiltes Apple Silicon per API nutzen statt ein privates Mesh betreiben willst, lies unseren Darkbloom-AI-Test zu Privacy, Preisen und Provider-Erlösen. Für die Modellauswahl dient der Open-Weight-LLM-Vergleich. So entscheidet nicht die interessanteste Runtime automatisch über die Geschäftsarchitektur.
Wer sollte Mesh LLM testen?
| Situation | Urteil | Warum |
|---|---|---|
| Zwei bis vier ungenutzte Workstations im schnellen LAN | Guter Pilot | Klare freie Kapazität und messbares Netzwerk |
| Benötigtes Modell ist knapp zu groß für jeden Host | Stärkster Use Case | Zwei Stages können Qualität ohne Neukauf erhalten |
| Private Forschung oder Batch mit flexibler Latenz | Guter Fit | Kapazität und Kontrolle zählen mehr als Interaktivität |
| Modell läuft bereits gut auf einem Host | Lokal bleiben | Split fügt Overhead und Fehlerpfade hinzu |
| Kunden-API mit harter SLA | Erst belegen | Last, Ausfall, Recovery und Tail Latency testen |
| Sensible Daten auf unbekannten Public Peers | Nicht verwenden | Discovery und Build-Signatur beweisen keinen Host Trust |
Sind freie GPUs besser als neue Workstation oder Hosted API?
AI-Architektur prüfen lassenSieben Schritte für einen belastbaren Pilot
- Definiere 30 bis 100 echte Prompts, Context, Output, Concurrency und Qualitätsrubrik.
- Messe den besten Einzelrechner: TTFT, tok/s, Peak Memory, Task Success, Strom und Fehler.
- Wähle ein geprüftes Artefakt mit unveränderlicher Revision und prüfe seine Lizenz.
- Beginne mit zwei verkabelten Nodes. Füge nur aus Speichergründen weitere Stages hinzu.
- Teste realistischen Context und Concurrency, nicht nur einen „OK“-Prompt.
- Unterbrich einen Peer absichtlich und prüfe Erkennung, Withdrawal, Recovery und Client-Fehler.
- Vergleiche Kosten pro erfolgreicher Aufgabe inklusive Engineering, Strom, Abschreibung, Redundanz und API-Fallback.
Die Entscheidung braucht am Ende messbare Grenzen: größtes passendes Modell, kleinste ausreichend schnelle Stage-Anzahl, Failure Budget, Trust Boundary und Fallback. Unsere Twinsoft-AI-Fallstudie und der Leitfaden zur Tech-Stack-Auswahl folgen demselben Prinzip.
Quellen und Methode
Architektur, Befehle, API, Artefakte, Support, Security und Benchmarks stammen aus dem Mesh-LLM-Repository sowie den oben verlinkten Primärdokumenten zu Skippy, Planner, Familienstatus, Mesh-Trust, Releases und Benchmarks. Ergänzend nutzten wir die offizielle llama.cpp-RPC-Dokumentation. Wir haben die Hardware-Benchmarks nicht reproduziert. Alle Projektfakten wurden am 11. November 2026 geprüft. Flüchtige Zahlen wie Stars und Familienanzahl lassen wir bewusst weg.
Ein Forschungsbeispiel statt einer Implementierungsanleitung bietet unsere Analyse von Anthropics KI-Replikation und TV-Box-Experimenten. Sie trennt die verteilte Inferenzdemo vom kontrollierten Replikationstest und zeigt, wie sich Betriebskontrolle prüfen lässt.
Häufige Fragen
Kann Mesh LLM GPUs aus mehreren Rechnern kombinieren?
Ist Mesh LLM normales Load Balancing?
Macht verteilte LLM-Inferenz die Ausgabe schneller?
Welche API bietet Mesh LLM?
Lädt jeder Rechner das ganze Modell?
Kann Mesh LLM über das Internet laufen?
Ist Mesh LLM für vertrauliche Unternehmensdaten geeignet?
Wann sollte ein Unternehmen lieber eine größere GPU kaufen?
Fazit
Mesh LLM stellt die richtige Kapazitätsfrage: Welches Modell können diese Rechner gemeinsam ausführen? Skippy kann zusammenhängende Layer-Stages verteilen, nur benötigte Paket-Fragmente laden und die Anwendung auf einer OpenAI-kompatiblen API halten.
Die Grenze bleibt Physik. Decode läuft seriell durch Stages, Latenz wiederholt sich pro Token, der langsamste Peer bestimmt das Tempo und jeder benötigte Node vergrößert die Failure Domain. Nutze Mesh LLM, wenn kombinierter Speicher ein sonst unmögliches Modell freischaltet. Bleib lokal, wenn es bereits passt. Lass einen gemessenen Zwei-Node-Pilot entscheiden, ob freie Hardware wirklich günstiger ist als eine größere Maschine oder ein Hosted Endpoint.
