--- title: "SwarmLLM Test 2026: Browser-P2P-LLM-Inferenz" canonical: https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/ language: de description: "SwarmLLM im Test: ein 27B-LLM über Smartphone- und Laptop-Browser verteilen, mit WebGPU, WebRTC, Benchmarks, Security-Grenzen und Pilotplan." image: "https://wavect.io/img/general/bak/open_graph_preview.jpg" --- [**Zurück**](/de/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/de/team/kevin-riedl/) [Kevin Riedl](/de/team/kevin-riedl/) https://linkedin.com/in/wsdt 14 min Lesezeit · 9. September 2026 Zuletzt geprüft 9. September 2026 [**Weiter**](/de/blog/ripwire-ai-repo-context-review-2026/) # SwarmLLM Test 2026: Kann ein Browser ein 27B-LLM auf Smartphone und Laptop verteilen? TL;DR SwarmLLM teilt ein unterstütztes großes Sprachmodell in zusammenhängende Layer-Bereiche und führt diese mit WebGPU auf mehreren Browser-Geräten aus. WebRTC transportiert die Zwischenaktivierungen zwischen den Peers. Die aktuelle Qwen-3.8-27B-Demo zeigt, dass ein MacBook und ein iPhone fast ohne Nutzerinstallation zusammenarbeiten können. Das Projekt veröffentlicht zusätzlich wertvolle Engineering-Evidenz: Kernel-Benchmarks, Transportmessungen, bit-exakte Speculative-Decoding-Tests und ein klares Threat Model. Die Grenzen sind ebenso wichtig: WebGPU ist nicht überall verfügbar, jedes weitere Gerät fügt Netzwerk- und Verarbeitungs-Hops hinzu, Aktivierungen sind gegenüber entschlossenen Peers nicht vertraulich, Remote Compute wird noch nicht verifiziert und Multi-Turn-Context sowie Peer-Recovery stehen auf der Roadmap. Für Trusted-Device-Experimente oder echte Memory-Capacity-Probleme pilotieren. Nicht davon ausgehen, dass mehr Geräte automatisch schneller oder ausreichend privat für Produktion sind. **SwarmLLM zeigt technisch glaubwürdig, dass Browser-Tabs gemeinsam ein großes Sprachmodell auf sehr unterschiedlichen Geräten ausführen können.** Ein MacBook kann den Großteil der Layer halten, ein iPhone einen kleinen Slice. WebGPU rechnet lokal, WebRTC transportiert den Hidden State zwischen den Geräten. Für den Nutzerraum braucht es weder Python noch einen nativen Inferenz-Daemon. Die Käuferfrage ist nicht, ob die Demo funktioniert. Entscheidend ist, ob diese Architektur auch mit Latenz, Browser-Support, Peer-Vertrauen, Ausfällen und Supportkosten gewinnt. Unser aktuelles Urteil ist bewusst eng: **für Trusted-Device-Experimente und echte Memory-Capacity-Probleme pilotieren, aber noch nicht als produktive Inferenzplattform behandeln.** Das öffentliche [SwarmLLM-Repository](https://github.com/Nehanth/swarmllm) steht unter MIT-Lizenz und dokumentiert eine eigene WebGPU-Engine plus WebRTC-Room-Runtime. Die Leitdemo vom September 2026 zeigt Qwen 3.8 27B auf MacBook und iPhone. SwarmLLM ist unabhängige Open-Source-Arbeit von Nehanth Narendrula und kein Wavect-Produkt. Unabhängigkeit und Marken Wavect veröffentlicht diese Seite und ist selbst Anbieter, wir haben also ein wirtschaftliches Interesse daran. Mit den hier genannten anderen Unternehmen sind wir weder verbunden noch von ihnen beauftragt oder empfohlen, und alle Firmennamen, Marken und Warenzeichen Dritter gehören ihren jeweiligen Inhabern. Aussagen über andere Anbieter stammen aus öffentlich zugänglichen Quellen, vor allem aus deren eigenen veröffentlichten Seiten, mit Stand des auf dieser Seite genannten Prüfdatums, und können sich seither geändert haben. Bitte prüfe sie vor einer Entscheidung selbst. Diese Seite wurde nach bestem Wissen und Gewissen erstellt, mit dem Ziel, möglichst objektiv zu bleiben. Wenn dir etwas falsch oder unfair erscheint, schreib uns und wir korrigieren es: [office@wavect.io](mailto:office@wavect.io) ## Was macht SwarmLLM technisch? SwarmLLM nutzt Pipeline Model Parallelism zwischen Browsern. Statt das gesamte Modell auf jedes Gerät zu laden, erhält jedes Gerät einen zusammenhängenden Bereich von Transformer-Layern. Der Host behält Tokenizer, Embeddings, finale Normalisierung, LM Head und Sampler. Während der Generierung wandert eine Zwischenaktivierung in Modellreihenfolge durch die Peers und kehrt zur Token-Auswahl zum Host zurück. Der praktische Nutzen ist Capacity Pooling. Qwen 3.8 27B umfasst im aktuellen Setup ungefähr 15 GB Q4_0-Gewichte. Ein Smartphone kann das nicht vollständig ausführen, aber einen kleinen Layer-Bereich beitragen, während ein stärkeres Notebook den Großteil trägt. ## Wie läuft ein Token durch die Geräte? Die veröffentlichte [SwarmLLM-Architektur](https://github.com/Nehanth/swarmllm/blob/main/docs/architecture.md) beschreibt für Qwen 3.8 einen Hidden State mit 5.120 Elementen. Als f16 gepackt sind das ungefähr 10 KB. Jeder Peer rechnet seinen Layer-Bereich und reicht den aktualisierten State weiter, bis der Host LM Head und Sampling ausführt. `Prompt -> Host Embed -> Laptop-Layer -> Smartphone-Layer -> Host LM Head -> nächster Token` Prefill lässt sich bündeln, autoregressives Decode braucht wiederholte Umläufe. SwarmLLM kombiniert deshalb gebatchten Prefill mit Qwens Multi-Token-Prediction, damit ein Netzwerklauf mehrere Kandidaten prüfen kann. Damit wird das Netzwerk selbst zu einem Teil der Inferenz-Engine. ## SwarmLLM vs Mesh LLM, Browser-AI und klassisches Self-Hosting Wavect hat bereits einen [Mesh-LLM-Test](/de/blog/mesh-llm-distributed-inference-multiple-computers/) für die breitere Multi-PC-Distributed-Inference-Entscheidung. Dieser Artikel besitzt absichtlich eine engere Suchintention: **Browser-native P2P-LLM-Inferenz über heterogene Smartphones, Laptops und PCs mit minimaler Installationshürde.** | Ansatz | Modellplatzierung | Trade-off | | --- | --- | --- | | SwarmLLM | Layer-Slices über Browser-Geräte | Sehr niedrige Join-Hürde, Browser und Netzwerk werden Runtime-Abhängigkeiten | | Mesh LLM | Layer-Stages über Rechner | Mehr Setup, stärker für eine stabile private Multi-PC-Mesh | | WebLLM / Transformers.js | Ganzes Modell in einem Browser | Einfachere Topologie, begrenzt durch den Speicher eines Geräts | | Ollama / llama.cpp / vLLM | Native lokale oder Server-Runtime | Mehr Installation, klarere Betriebsverantwortung | | Cloud API | Provider-Infrastruktur | Kein lokales Kapazitätsproblem, dafür Provider- und Datenpfad-Trade-offs | Für Single-Device-Browser-Inferenz nutze den [Transformers.js Browser-AI-Guide](/de/blog/transformers-js-browser-ai-guide/). Für die ökonomische Local-vs-API-Frage gibt es unsere [Break-even-Analyse für lokale Modelle und APIs](/de/blog/local-models-vs-apis-break-even-eu-2026/). ## Was beweisen die Benchmarks? Das [Benchmark-Log](https://github.com/Nehanth/swarmllm/blob/main/docs/bench-log.md) ist aussagekräftiger als ein Launch-Clip, weil Hardware, Promptformen, Transportänderungen und negative Scaling-Ergebnisse dokumentiert sind. Auf einem NVIDIA GB10 meldet das Projekt ungefähr 9 tok/s Plain Decode und rund 16 tok/s mit Speculative Decoding. Ein MacBook Pro in Chrome wird solo mit ungefähr 6,7 tok/s plain und 10,8 tok/s spekulativ geführt. MacBook plus iPhone braucht eine klare Evidenzgrenze. Die Demo-Beschriftung vom 7. September nennt **10,7 tok/s** für 400 Tokens. Die strukturierte Performance-Tabelle nennt weiterhin **7,7 tok/s** und das detaillierte Log dokumentiert 7,7 tok/s für den Real-Device-Test vom 4. September. 10,7 tok/s sollten daher aktuell als späteres Demo-Ergebnis gelesen werden, nicht als universelle Baseline. Noch wichtiger: mehr Geräte bedeuten nicht automatisch mehr Geschwindigkeit. Ein Drei-Geräte-Emulator erreichte ungefähr 10,4 tok/s, eine Sechzehn-Geräte-Topologie fiel selbst lokal ohne Netzwerklatenz auf rund 3,8 bis 4,7 tok/s. Jeder zusätzliche Hop verursacht Pack-, Upload-, Readback- und Forwarding-Kosten. **SwarmLLM poolt zuerst Kapazität. Geschwindigkeit ist bedingt.** Ein kommerzieller Pilot muss die eigene Hardware, Browser, Netzwerke und Prompts messen. ## Sicherheit: P2P heißt nicht privat vor Peers Das [Security-Dokument](https://github.com/Nehanth/swarmllm/blob/main/SECURITY.md) zieht eine wichtige Grenze. WebRTC-Transport ist verschlüsselt und der Signaling-Broker trägt keinen Modelltraffic. Die Zwischenaktivierungen sind aber **keine Verschlüsselung**. Das Projekt warnt ausdrücklich, dass Activation-Inversion Prompt-Inhalte rekonstruieren kann. Jeder Room-Teilnehmer sollte deshalb als potenziell in der Lage betrachtet werden, Prompt-Informationen zu lesen. Remote Compute wird ebenfalls noch nicht verifiziert. Ein defekter oder bösartiger Peer könnte manipulierte Aktivierungen liefern, ohne dass der Host heute die korrekte Berechnung beweist. Für Produktion lautet das Trust-Modell daher: Geräte und Personen, denen du die Konversation ohnehin anvertrauen würdest. ## WebGPU ermöglicht No-Install und begrenzt es zugleich SwarmLLM hängt von [WebGPU-Support](https://developer.mozilla.org/en-US/docs/Web/API/WebGPU_API) ab. MDN markiert WebGPU weiterhin als eingeschränkt verfügbar und nicht als Baseline. Normale Web-Nutzung braucht einen Secure Context. SwarmLLM nennt Chrome auf macOS als getesteten Host. Safari auf dem iPhone kann einen kleinen Slice beitragen, Safari auf dem Mac kann bei großen 27B-Slices unter Speicherdruck neu laden, Firefox und Linux Chromium sind weniger getestet. Für Unternehmen gehören Browser-Policies, GPU-Treiber, Speicherdruck und Smartphone-Thermik deshalb in die Hardware-Matrix. ## Was WebRTC löst und was nicht [WebRTC Data Channels](https://developer.mozilla.org/en-US/docs/Web/API/WebRTC_API/Using_data_channels) übertragen Binärdaten direkt zwischen Peers und schützen RTCDataChannel-Traffic mit DTLS. Das passt gut zu Hidden-State-Frames, ohne eigene TCP-Ports zu öffnen. WebRTC entfernt aber weder NAT noch Relay-Bedarf, Paketverlust oder Latenz. Eine produktionsnahe Architektur braucht Regeln für Signaling, TURN oder Relay, Telemetrie, Verbindungsfehler und Corporate Firewalls. ## Wie produktionsreif ist SwarmLLM? Die klarste Antwort liefert die [Multi-Turn-Context-Roadmap](https://github.com/Nehanth/swarmllm/blob/main/roadmap/13-multi-turn-context.md). Sie dokumentiert, dass jeder Send den Modellzustand aktuell zurücksetzt, das 512-Token-Context-Limit noch nicht sicher durchgesetzt wird und Antworten bei 400 Tokens stoppen. Echte Gesprächshistorie, größere Context-Fenster, sichtbare Token-Zähler und sichereres Overflow-Verhalten sind geplant. Peer-Recovery, Compute-Auditing und mehr Modelle stehen ebenfalls auf der Roadmap. Das macht SwarmLLM stark für Forschung und Pilotierung, aber noch zu früh als kundenkritische Kernabhängigkeit. ## Wer sollte jetzt pilotieren? | Situation | Entscheidung | Grund | | --- | --- | --- | | Browser-native Local-AI-Forschung | Pilotieren | Einsehbare Architektur und geringe Einstiegshürde | | Labor, Unterricht oder Hackathon mit Trusted Devices | Pilotieren | No-Install-Teilnahme ist ein echter Vorteil | | Modell liegt knapp über Single-Device-Speicher | Vergleichen | Memory Pooling kann helfen, native Splits können einfacher sein | | Vertraulicher Produktionsassistent | Warten oder isolieren | Peer-Trust und Recovery brauchen stärkere Kontrollen | | Öffentlicher Swarm mit Fremden | Heute nicht | Aktivierungen sind nicht privat und Compute ist nicht verifiziert | ## 14-Tage-Pilot 1. Zehn realistische Prompts und Zielantworten einfrieren. 2. RAM, GPU, OS, Browser-Version und WebGPU für jedes Gerät dokumentieren. 3. Single-Device-Baseline für Prefill, Decode, Speicher und Thermik messen. 4. Peers einzeln hinzufügen und Capacity-vs-Hop-Effekt protokollieren. 5. WLAN, alternative Netzwerkpfade und Cross-Network testen. 6. Peer-Tab schließen, Smartphone schlafen legen und Netzwechsel provozieren. 7. Keine sensiblen Prompts verwenden. 8. Setup-, Fehler- und Supportzeit in TCO aufnehmen. 9. Kill-Kriterium setzen: gewinnt eine native Runtime bei Geschwindigkeit, Security und Support, wird sie gewählt. ## Wo Wavect ins Bild kommt Browser-Inferenz ist eine Technologieentscheidung. Wavects [AI Enablement](/de/services/ai-enablement/) deckt Workload-Evaluation, Modellauswahl, Local-vs-API-Architektur, Privacy-Grenzen, Gerätekompatibilität, Observability, Fallbacks und Produktionsübergabe ab. Die [Twinsoft-AI-Case-Study](/de/case-studies/twinsoft-ai/) zeigt das größere Muster: brauchbare AI entsteht durch das System um das Modell. Wenn Cloud-Kosten der Treiber sind, vergleiche SwarmLLM mit unserem [EU-Kosten-Guide für selbst gehostete LLMs](/de/blog/self-hosting-llms-eu-cost/). Spare Hardware ist nach Engineering, Support und Ausfallkosten nicht automatisch kostenlos. ## Fazit **SwarmLLM ist eines der interessantesten Browser-native Inferenzprojekte 2026, weil es eine ernsthafte WebGPU-Engine mit einem praktischen No-Install-WebRTC-Room verbindet.** Die technische Evidenz ist stärker als das virale Demo allein vermuten lässt. Die Grenzen sind ebenso klar: Multi-Turn ist unfertig, Context Handling unreif, Peer-Ausfälle sind problematisch, Remote Compute ist nicht verifiziert und Aktivierungen sind nicht vor Room-Mitgliedern vertraulich. Für vertrauenswürdige Teams auf vorhandener Hardware ist ein kontrollierter Pilot sinnvoll. Für Produktion gilt: **Löst Browser-native Teilnahme ein echtes Deployment-Problem, das eine stabile native Runtime oder API nicht löst?** Wenn nein, gewinnt die einfachere Architektur. ## Häufige Fragen ### Was ist SwarmLLM? SwarmLLM ist ein MIT-lizenziertes Browser-Projekt für verteilte LLM-Inferenz. Es teilt unterstützte Modelle in Layer-Bereiche, führt diese mit WebGPU auf mehreren Geräten aus und überträgt Zwischenaktivierungen über WebRTC. ### Kann SwarmLLM Qwen 3.8 27B auf Smartphone und Laptop gemeinsam ausführen? Die Demo zeigt Qwen 3.8 27B auf MacBook und iPhone. Das Smartphone führt nicht das komplette Modell aus, sondern trägt einen kleinen Layer-Bereich bei. ### Ist SwarmLLM privat? WebRTC ist verschlüsselt, aber das Projekt warnt ausdrücklich, dass Aktivierungen keine Verschlüsselung sind. Jeder Room-Teilnehmer sollte als potenziell in der Lage betrachtet werden, Prompt-Informationen zu rekonstruieren. ### Sind 10,7 Tokens pro Sekunde eine Baseline? Die Zahl steht in der Demo-Beschriftung vom 7. September. Die strukturierte Performance-Tabelle nennt für MacBook plus iPhone weiterhin 7,7 tok/s. Reproduziere deshalb auf eigener Hardware. ### Wie unterscheidet sich SwarmLLM von Mesh LLM? Beide teilen ein Modell nach Layern. SwarmLLM fokussiert No-Install-Browser-Teilnahme über WebGPU und WebRTC. Mesh LLM ist eher eine native private Multi-Computer-Mesh. ### Sollte ein Unternehmen SwarmLLM heute produktiv einsetzen? Noch nicht als zentrale Produktionsabhängigkeit. Für kontrollierte Piloten und Trusted-Device-Experimente ist es geeignet, während Multi-Turn, Recovery und Compute-Verifikation noch unvollständig sind. ## Das könnte dich auch interessieren.. [**Mesh LLM im Test: Ein großes LLM auf mehreren Computern** Vergleiche den Browser-native Swarm mit einem klassischen Multi-Computer-Layer-Split.](/de/blog/mesh-llm-distributed-inference-multiple-computers/) [**Wavect vs klassische Entwicklungsagentur** Founder-led Senior Engineering im direkten Vergleich mit kapazitätsgetriebener Delivery.](/de/compare/wavect-vs-dev-agencies/) Modelle und Infrastruktur ## In diesem Cluster weiterlesen Modellauswahl, Inferenzkosten, lokaler Betrieb, Kompression und Serving-Architektur. [Mit dem Grundlagenartikel starten**LLMs in der EU selbst hosten: Wann sich Open Weights wirklich rechnen**](/de/blog/self-hosting-llms-eu-cost/) - [Phonely Alma im Test: Ist das Voice-LLM produktionsreif?](/de/blog/phonely-alma-voice-llm-review/) - [Utopia: Temporalen Wissensgraph im Unternehmen prüfen](/de/blog/utopia-temporal-knowledge-graph/) - [NVIDIA PAIR im Test: Lokales KI-Routing und die AMD-Lücke](/de/blog/nvidia-pair-amd-rocm-strix-halo/) - [Tencent Hy4 Preview im Test: Lohnt sich das 1M-Kontextmodell?](/de/blog/tencent-hy4-preview-coding-agent-review/) - [PageLM im Check: Selbst hosten und kommerziell nutzen](/de/blog/pagelm-self-hosted-ai-study-platform/) [**Zurück**](/de/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/de/team/kevin-riedl/) [Kevin Riedl](/de/team/kevin-riedl/) https://linkedin.com/in/wsdt 14 min Lesezeit · 9. September 2026 Zuletzt geprüft 9. September 2026 [**Weiter**](/de/blog/ripwire-ai-repo-context-review-2026/) ## Structured Data ```json { "@context": "https://schema.org", "@graph": [ { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ], "employee": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "founder": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "legalRepresentative": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "name": "Wavect GmbH", "subjectOf": { "@id": "https://wavect.io/verified-claims.json#dataset", "@type": "Dataset", "creator": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "description": "A machine-readable registry of quantitative and qualitative claims published by Wavect, with review dates, localized page appearances and public third-party citations where available.", "inLanguage": "en", "isAccessibleForFree": true, "license": "https://creativecommons.org/licenses/by/4.0/", "name": "Wavect verified publication claims", "url": "https://wavect.io/verified-claims.json" }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "sameAs": [ "https://www.wikidata.org/wiki/Q139796367", "https://www.linkedin.com/in/jocr77/", "https://github.com/jo-chris" ], "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/#website", "@type": "WebSite", "inLanguage": [ "en", "de", "es", "zh" ], "name": "Wavect", "potentialAction": { "@type": "SearchAction", "query-input": "required name=search_term_string", "target": { "@type": "EntryPoint", "urlTemplate": "https://wavect.io/search/?q={search_term_string}" } }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/#webpage", "@type": "WebPage", "dateModified": "2026-09-09", "inLanguage": "de", "isPartOf": { "@id": "https://wavect.io/#website", "@type": "WebSite" }, "lastReviewed": "2026-09-09", "url": "https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/" } ] } ``` ```json { "@context": "https://schema.org", "@type": "BlogPosting", "abstract": "SwarmLLM teilt ein unterstütztes großes Sprachmodell in zusammenhängende Layer-Bereiche und führt diese mit WebGPU auf mehreren Browser-Geräten aus. WebRTC transportiert die Zwischenaktivierungen zwischen den Peers. Die aktuelle Qwen-3.8-27B-Demo zeigt, dass ein MacBook und ein iPhone fast ohne Nutzerinstallation zusammenarbeiten können. Das Projekt veröffentlicht zusätzlich wertvolle Engineering-Evidenz: Kernel-Benchmarks, Transportmessungen, bit-exakte Speculative-Decoding-Tests und ein klares Threat Model. Die Grenzen sind ebenso wichtig: WebGPU ist nicht überall verfügbar, jedes weitere Gerät fügt Netzwerk- und Verarbeitungs-Hops hinzu, Aktivierungen sind gegenüber entschlossenen Peers nicht vertraulich, Remote Compute wird noch nicht verifiziert und Multi-Turn-Context sowie Peer-Recovery stehen auf der Roadmap. Für Trusted-Device-Experimente oder echte Memory-Capacity-Probleme pilotieren. Nicht davon ausgehen, dass mehr Geräte automatisch schneller oder ausreichend privat für Produktion sind.", "articleBody": " Blog-Übersicht/AI und Agents/Modelle und Infrastruktur SwarmLLM Test 2026: Kann ein Browser ein 27B-LLM auf Smartphone und Laptop verteilen? TL;DR SwarmLLM teilt ein unterstütztes großes Sprachmodell in zusammenhängende Layer-Bereiche und führt diese mit WebGPU auf mehreren Browser-Geräten aus. WebRTC transportiert die Zwischenaktivierungen zwischen den Peers. Die aktuelle Qwen-3.8-27B-Demo zeigt, dass ein MacBook und ein iPhone fast ohne Nutzerinstallation zusammenarbeiten können. Das Projekt veröffentlicht zusätzlich wertvolle Engineering-Evidenz: Kernel-Benchmarks, Transportmessungen, bit-exakte Speculative-Decoding-Tests und ein klares Threat Model. Die Grenzen sind ebenso wichtig: WebGPU ist nicht überall verfügbar, jedes weitere Gerät fügt Netzwerk- und Verarbeitungs-Hops hinzu, Aktivierungen sind gegenüber entschlossenen Peers nicht vertraulich, Remote Compute wird noch nicht verifiziert und Multi-Turn-Context sowie Peer-Recovery stehen auf der Roadmap. Für Trusted-Device-Experimente oder echte Memory-Capacity-Probleme pilotieren. Nicht davon ausgehen, dass mehr Geräte automatisch schneller oder ausreichend privat für Produktion sind. SwarmLLM zeigt technisch glaubwürdig, dass Browser-Tabs gemeinsam ein großes Sprachmodell auf sehr unterschiedlichen Geräten ausführen können. Ein MacBook kann den Großteil der Layer halten, ein iPhone einen kleinen Slice. WebGPU rechnet lokal, WebRTC transportiert den Hidden State zwischen den Geräten. Für den Nutzerraum braucht es weder Python noch einen nativen Inferenz-Daemon. Die Käuferfrage ist nicht, ob die Demo funktioniert. Entscheidend ist, ob diese Architektur auch mit Latenz, Browser-Support, Peer-Vertrauen, Ausfällen und Supportkosten gewinnt. Unser aktuelles Urteil ist bewusst eng: für Trusted-Device-Experimente und echte Memory-Capacity-Probleme pilotieren, aber noch nicht als produktive Inferenzplattform behandeln. Das öffentliche SwarmLLM-Repository steht unter MIT-Lizenz und dokumentiert eine eigene WebGPU-Engine plus WebRTC-Room-Runtime. Die Leitdemo vom September 2026 zeigt Qwen 3.8 27B auf MacBook und iPhone. SwarmLLM ist unabhängige Open-Source-Arbeit von Nehanth Narendrula und kein Wavect-Produkt. Unabhängigkeit und Marken Wavect veröffentlicht diese Seite und ist selbst Anbieter, wir haben also ein wirtschaftliches Interesse daran. Mit den hier genannten anderen Unternehmen sind wir weder verbunden noch von ihnen beauftragt oder empfohlen, und alle Firmennamen, Marken und Warenzeichen Dritter gehören ihren jeweiligen Inhabern. Aussagen über andere Anbieter stammen aus öffentlich zugänglichen Quellen, vor allem aus deren eigenen veröffentlichten Seiten, mit Stand des auf dieser Seite genannten Prüfdatums, und können sich seither geändert haben. Bitte prüfe sie vor einer Entscheidung selbst. Diese Seite wurde nach bestem Wissen und Gewissen erstellt, mit dem Ziel, möglichst objektiv zu bleiben. Wenn dir etwas falsch oder unfair erscheint, schreib uns und wir korrigieren es: office@wavect.io Was macht SwarmLLM technisch? SwarmLLM nutzt Pipeline Model Parallelism zwischen Browsern. Statt das gesamte Modell auf jedes Gerät zu laden, erhält jedes Gerät einen zusammenhängenden Bereich von Transformer-Layern. Der Host behält Tokenizer, Embeddings, finale Normalisierung, LM Head und Sampler. Während der Generierung wandert eine Zwischenaktivierung in Modellreihenfolge durch die Peers und kehrt zur Token-Auswahl zum Host zurück. Der praktische Nutzen ist Capacity Pooling. Qwen 3.8 27B umfasst im aktuellen Setup ungefähr 15 GB Q4_0-Gewichte. Ein Smartphone kann das nicht vollständig ausführen, aber einen kleinen Layer-Bereich beitragen, während ein stärkeres Notebook den Großteil trägt. Wie läuft ein Token durch die Geräte? Die veröffentlichte SwarmLLM-Architektur beschreibt für Qwen 3.8 einen Hidden State mit 5.120 Elementen. Als f16 gepackt sind das ungefähr 10 KB. Jeder Peer rechnet seinen Layer-Bereich und reicht den aktualisierten State weiter, bis der Host LM Head und Sampling ausführt. Prompt -> Host Embed -> Laptop-Layer -> Smartphone-Layer -> Host LM Head -> nächster Token Prefill lässt sich bündeln, autoregressives Decode braucht wiederholte Umläufe. SwarmLLM kombiniert deshalb gebatchten Prefill mit Qwens Multi-Token-Prediction, damit ein Netzwerklauf mehrere Kandidaten prüfen kann. Damit wird das Netzwerk selbst zu einem Teil der Inferenz-Engine. SwarmLLM vs Mesh LLM, Browser-AI und klassisches Self-Hosting Wavect hat bereits einen Mesh-LLM-Test für die breitere Multi-PC-Distributed-Inference-Entscheidung. Dieser Artikel besitzt absichtlich eine engere Suchintention: Browser-native P2P-LLM-Inferenz über heterogene Smartphones, Laptops und PCs mit minimaler Installationshürde. AnsatzModellplatzierungTrade-off SwarmLLMLayer-Slices über Browser-GeräteSehr niedrige Join-Hürde, Browser und Netzwerk werden Runtime-Abhängigkeiten Mesh LLMLayer-Stages über RechnerMehr Setup, stärker für eine stabile private Multi-PC-Mesh WebLLM / Transformers.jsGanzes", "articleSection": "Engineering", "author": { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/" }, "citation": [ { "@type": "WebPage", "name": "SwarmLLM-Repository", "url": "https://github.com/Nehanth/swarmllm" }, { "@type": "WebPage", "name": "SwarmLLM-Architektur", "url": "https://github.com/Nehanth/swarmllm/blob/main/docs/architecture.md" }, { "@type": "WebPage", "name": "Benchmark-Log", "url": "https://github.com/Nehanth/swarmllm/blob/main/docs/bench-log.md" }, { "@type": "WebPage", "name": "Security-Dokument", "url": "https://github.com/Nehanth/swarmllm/blob/main/SECURITY.md" }, { "@type": "WebPage", "name": "WebGPU-Support", "url": "https://developer.mozilla.org/en-US/docs/Web/API/WebGPU_API" }, { "@type": "WebPage", "name": "WebRTC Data Channels", "url": "https://developer.mozilla.org/en-US/docs/Web/API/WebRTC_API/Using_data_channels" }, { "@type": "WebPage", "name": "Multi-Turn-Context-Roadmap", "url": "https://github.com/Nehanth/swarmllm/blob/main/roadmap/13-multi-turn-context.md" } ], "dateModified": "2026-09-09", "datePublished": "2026-09-09", "description": "SwarmLLM teilt ein unterstütztes großes Sprachmodell in zusammenhängende Layer-Bereiche und führt diese mit WebGPU auf mehreren Browser-Geräten aus. WebRTC transportiert die Zwischenaktivierungen zwischen den Peers. Die aktuelle Qwen-3.8-27B-Demo zeigt, dass ein MacBook und ein iPhone fast ohne Nutzerinstallation zusammenarbeiten können. Das Projekt veröffentlicht zusätzlich wertvolle Engineering-Evidenz: Kernel-Benchmarks, Transportmessungen, bit-exakte Speculative-Decoding-Tests und ein klares Threat Model. Die Grenzen sind ebenso wichtig: WebGPU ist nicht überall verfügbar, jedes weitere Gerät fügt Netzwerk- und Verarbeitungs-Hops hinzu, Aktivierungen sind gegenüber entschlossenen Peers nicht vertraulich, Remote Compute wird noch nicht verifiziert und Multi-Turn-Context sowie Peer-Recovery stehen auf der Roadmap. Für Trusted-Device-Experimente oder echte Memory-Capacity-Probleme pilotieren. Nicht davon ausgehen, dass mehr Geräte automatisch schneller oder ausreichend privat für Produktion sind.", "headline": "SwarmLLM Test 2026: Browser-P2P-Inferenz auf Smartphone und Laptop", "image": "https://wavect.io/img/blog/headers/header_swarmllm-browser-p2p-inference-review-2026.svg", "inLanguage": "de", "keywords": "SwarmLLM, Distributed Inference, Browser AI", "mainEntityOfPage": { "@id": "https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/", "@type": "WebPage" }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/", "wordCount": 1839 } ``` ```json { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "item": "https://wavect.io/de/", "name": "Startseite", "position": 1 }, { "@type": "ListItem", "item": "https://wavect.io/de/blog/overview/", "name": "Blog-Übersicht", "position": 2 }, { "@type": "ListItem", "item": "https://wavect.io/de/blog/topics/ai-agents/", "name": "AI und Agents", "position": 3 }, { "@type": "ListItem", "item": "https://wavect.io/de/blog/clusters/models-infrastructure/", "name": "Modelle und Infrastruktur", "position": 4 }, { "@type": "ListItem", "item": "https://wavect.io/de/blog/swarmllm-browser-p2p-inference-review-2026/", "name": "SwarmLLM Test 2026: Browser-P2P-LLM-Inferenz", "position": 5 } ] } ``` ```json { "@context": "https://schema.org", "@type": "FAQPage", "mainEntity": [ { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "SwarmLLM ist ein MIT-lizenziertes Browser-Projekt für verteilte LLM-Inferenz. Es teilt unterstützte Modelle in Layer-Bereiche, führt diese mit WebGPU auf mehreren Geräten aus und überträgt Zwischenaktivierungen über WebRTC." }, "name": "Was ist SwarmLLM?" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "Die Demo zeigt Qwen 3.8 27B auf MacBook und iPhone. Das Smartphone führt nicht das komplette Modell aus, sondern trägt einen kleinen Layer-Bereich bei." }, "name": "Kann SwarmLLM Qwen 3.8 27B auf Smartphone und Laptop gemeinsam ausführen?" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "WebRTC ist verschlüsselt, aber das Projekt warnt ausdrücklich, dass Aktivierungen keine Verschlüsselung sind. Jeder Room-Teilnehmer sollte als potenziell in der Lage betrachtet werden, Prompt-Informationen zu rekonstruieren." }, "name": "Ist SwarmLLM privat?" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "Die Zahl steht in der Demo-Beschriftung vom 7. September. Die strukturierte Performance-Tabelle nennt für MacBook plus iPhone weiterhin 7,7 tok/s. Reproduziere deshalb auf eigener Hardware." }, "name": "Sind 10,7 Tokens pro Sekunde eine Baseline?" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "Beide teilen ein Modell nach Layern. SwarmLLM fokussiert No-Install-Browser-Teilnahme über WebGPU und WebRTC. Mesh LLM ist eher eine native private Multi-Computer-Mesh." }, "name": "Wie unterscheidet sich SwarmLLM von Mesh LLM?" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "Noch nicht als zentrale Produktionsabhängigkeit. Für kontrollierte Piloten und Trusted-Device-Experimente ist es geeignet, während Multi-Turn, Recovery und Compute-Verifikation noch unvollständig sind." }, "name": "Sollte ein Unternehmen SwarmLLM heute produktiv einsetzen?" } ] } ```