BENCHMARKS · V0.9.0-QUELLSTAND

Kontext ist messbar. Kostenvorteile sind noch nicht belegt.

Das Gegenbeispiel vor der Behauptung veröffentlichen.

Version 0.9.0 erhält bisherige Token-, Harness-, Rust- und Reload-Messungen und ergänzt LAW16-Beweisversuche samt Kosten und Fehlschlägen. Die abgeschlossene Claude-Kampagne hat 19 bestandene Versuche von 20, also neun vollständig akzeptierte Paare. Die Routing-Qualifikation bleibt nicht ausgewertet. Daraus folgt kein allgemeiner Produktivitäts-, Kosten- oder Geschwindigkeitsvorteil.

semaprax://benchmarksv0.9.0
entity     Semaprax
status     beta
snapshot   933196b
authority  github.com/wavect/semaprax

Ist Semaprax für Coding-Agenten günstiger?

Ein allgemeiner Kostenvorteil ist nicht belegt. Exakte lokale cl100k_base-Messungen zeigen kleinere model-text-Inhalte für zwei große Graphen und einen HTTP-Aufgabenkontext, während kleine Kontexte wachsen. Eine separate kostenpflichtige Kampagne der Entwicklungswerkzeuge maß die Kosten pro akzeptierter Aufgabe. Die beste Einsparung lag bei etwa 1% und damit unter der vorab festgelegten Schwelle von 10%. Anbieternutzung, lokale Tokenzahlen, Ausführungsgeschwindigkeit und Aufgabenkorrektheit bleiben getrennte Messgrößen.

Dieselben ausgewählten Fakten, auf zwei Arten gezählt

Fünf Zeilen aus dem eingecheckten lokalen Bericht zu model-text v2. Die Werte nutzen cl100k_base für den gesamten Inhalt einschließlich Metadaten. Es sind lokale Tokenizer-Zählungen, keine Anbieterrechnungen. Ein höherer model-text-Wert ist eine Verschlechterung.

  • Banking-Ledger: vollständiger Graph 37.846 32.486 −14,2%
  • ledger.apply: Aufgabenkontext 1.679 1.802 +7,3% Verschlechterung
  • HTTP-Anwendung: vollständiger Graph 161.861 134.165 −17,1%
  • HTTP app.main: Aufgabenkontext 5.602 5.010 −10,6%
  • Calculator-Project: Graph 2.500 2.615 +4,6% Verschlechterung

Die Balkenlänge zeigt Model-text-Tokens als Anteil der JSON-Tokens derselben Ansicht. JSON = 100 %.

Ausgewählte Ansicht · JSON-Tokens · Model-text-Tokens
Ausgewählte AnsichtJSON-TokensModel-text-Tokens
Banking-Ledger: vollständiger Graph3784632486
ledger.apply: Aufgabenkontext16791802
HTTP-Anwendung: vollständiger Graph161861134165
HTTP app.main: Aufgabenkontext56025010
Calculator-Project: Graph25002615

Exakten Korpus, beide Tokenizer und Replay-Vertrag lesen

Neun Mess- und Qualifikationsbereiche

Gegenbefunde, die dokumentiert bleiben

LAW16: abgeschlossene Claude-Kampagne

19/20 bestanden · 1 gescheitert

Kostenpflichtiger Qualifikationstest der Aufgabenkosten

≈1% Beste Einsparung · Geforderte Schwelle 10%

Nicht qualifiziert

Geprüfter Hot Reload im Vergleich zum Neustart

545,694 ms Geprüfter Reload, Median
37,904 ms Vollständiger Neustart

Exakte Tokenzahlen kompakter Inhalte

Mit gecachtem tiktoken 0.12.0 sinken die großen Banking- und HTTP-Graphen von 37,846 auf 32,486 beziehungsweise von 161,861 auf 134,165 cl100k_base-Tokens. Die HTTP-Aufgabenansicht sinkt von 5,602 auf 5,010. Der vollständige model-text-Umschlag wird mitgezählt und gegen dieselbe JSON-Auswahl erneut geprüft.

Verschlechterungen bei kleinen Ansichten

Der Ledger-Aufgabenkontext wächst von 1,679 auf 1,802 Tokens; der Graph des Calculator-Projects wächst von 2,500 auf 2,615. Feste Metadaten können den Kompressionsvorteil überwiegen. Ein Vergleich von Quellcode und Kontext beantwortet eine andere Frage als die Kodierung derselben ausgewählten Fakten.

Sitzungsberichte und Anbieterbelege

Tokenberichte gruppieren kompatible Tokenizer-Fingerprints, Methoden und Messgrenzen. Belege der Entwicklungswerkzeuge erhalten die tatsächliche Anbieternutzung, fehlgeschlagene oder abgeschnittene Versuche und geschätzte im Vergleich zu gemeldeten Kosten. Fehlende Werte bleiben nicht verfügbar. Belege allein sind noch kein Vergleichsergebnis.

Kostenpflichtiger Qualifikationstest der Aufgabenkosten

Die Kampagne vom 5. Oktober nutzte Claude Haiku 4.5 über einen Messadapter: 711 Aufrufe und USD 3.10 erfasste Ausgaben. Jeder Versuchsarm akzeptierte 109 von 120 Aufgaben. Die beste Einsparung bei den Kosten pro akzeptierter Aufgabe lag bei etwa 1% und damit unter den geforderten 10%. Kein Arm qualifizierte sich; die Standardeinstellungen blieben unverändert. Der Anwendungspfad durchläuft nicht den vollständigen Semaprax-Quellcode-Workflow.

Mehraufwand echter Rust-Anwendungen

Für gespeicherte Regex/Url-, Serde/Iterator- und reqwest/Tokio-Anwendungen liegen Belege aus sauberen Offline-Läufen mit fixierten Abhängigkeiten für macOS arm64 und einen Linux-x86-64-Gast vor, jeweils mit 22 bestandenen Stufen oder Messungen. Übersichten zu Kopien und Allokationen ergänzen die Ergebnisse. Schlechterer M1/M3-Durchsatz wird weiter untersucht und ist kein Beleg für nahezu overheadfreie Ausführung.

Geprüfter Hot Reload im Vergleich zum Neustart

Bei der dokumentierten macOS-arm64-Testanwendung lag der Median eines kalten Reloads von A nach B bei 545,694 ms, gegenüber 37,904 ms für einen vollständigen Neustart. Elf Messungen und getrennte Werte für Zulassung, Vorbereitung, Warten und Aktivierung erhalten diesen Gegenbefund. Das zeigt geprüfte Kontinuität, keine Beschleunigung und kein Ergebnis für andere Betriebssysteme.

LAW16: abgeschlossene Claude-Kampagne

Eine separate LAW16-Claude-Kampagne absolvierte 20 Versuche für 0,291235 USD: 19 bestanden unabhängige Kandidaten-/Angriffsprüfungen, ein Bend-Kandidat scheiterte. Neun Vergleichspaare bestanden vollständig; daraus folgt kein allgemeines Sprach- oder Kostenranking.

LAW16: unvollständige Kampagnen erhalten

Eine frühere Kampagne behielt vier erfolgreiche Paare, bevor der fünfte Bend-Aufruf das angeforderte Limit von 0,03 USD überschritt und 0,039957 USD meldete. Neun Aufrufe kosteten insgesamt 0,151974 USD. Verschiedene feste Budgets nicht zusammenführen. Dreißig lokale Phasenmessungen je Route und Cache-Kontrollen belegen keinen sprachübergreifenden Geschwindigkeitsvorteil; AC1 und #392 bleiben offen.

MR-13: Routing nicht ausgewertet

Die datierte Routing-Matrix meldet nicht ausgewertet, keinen kostenlosen Erfolg. Kein lernender Entscheidungsadapter ist dort live getestet oder qualifiziert. Fixture-Konformität, bezahlte Generierungsversuche und Entwicklungsqualifikation qualifizieren keine Laufzeitwahl von Modellen, Agents oder Werkzeugen. Regeln bleiben in beiden Bereichen aktiv.

Was diese Ergebnisse nicht belegen

  • Einen allgemeinen Vorteil bei vom Anbieter abgerechneten Tokens oder Kosten pro akzeptierter Aufgabe über Projekte und Modelle hinweg.
  • Bessere Korrektheit, Latenz oder Wartungsproduktivität als Rust, TypeScript oder eine andere Sprache.
  • Universelle Rust-Interoperabilität ohne Mehraufwand oder die Leistung eines physischen Linux-x86-64-Hosts auf Basis eines emulierten Gasts.
  • Einen Geschwindigkeitsvorteil durch Hot Reload, den Austausch nativer/Wasm-Prozesse oder breite Plattformleistung.
  • Die Leistung der aktuellen Veröffentlichung aus historischen Debug-Build-Zeiten oder Korrektheit aus einem Kontextkompressionsverhältnis.

Nötige Evidenz vor einer Kostenaussage

  1. Gleichwertige Aufgaben, Quellcode-Revisionen, Adapter und die Abnahmebewertung vor dem Experiment festlegen.
  2. Modellidentität, Berechtigungen, Token- und Geldgrenzen, Wiederholungen und Abbruchregeln vergleichbar halten.
  3. Vollständige Anbieterbelege, Laufzeit, Quote akzeptierter Aufgaben und fehlgeschlagene Regressionstests erfassen, einschließlich erfolgloser Versuche.
  4. Rohmessungen, fehlende Nachweise, Ausschlüsse und Unsicherheit veröffentlichen. Lokale Tokenizer getrennt von abgerechneter Nutzung halten.
  5. Vor einer Änderung der Standardeinstellungen die festgelegten Qualitäts- und Kostenschwellen verlangen; mit weiteren Projekten, Modellen und Hosts wiederholen.
// STATUS

Repository-Status zum geprüften Snapshot

Repository-Snapshot933196b · 2026-10-15. Das Tag v0.9.0 verweist auf den festgehaltenen Quellcommit. Die exakte Tag-CI war erfolgreich. Daraus folgt keine allgemeine Produktions- oder Sicherheitsgarantie.
Status des Gesamtprodukts55 Teilweise · 0 Implementiert · 0 Fehlend
Graph- und ProjektvertragKanonischer Quellcode, stabile IDs und geprüfte Compiler-Repräsentationen verbinden Regeln, semantische Abfragen, Änderungen und Ausführung. Die je nach Feature gewählten Graph- und Project-Schemas behalten ihre eigenen Vorgaben für Zulassung, Kompatibilität und Host-Berechtigungen.
Veröffentlichte Betaversionv0.9.0 · Veröffentlicht am 11. Oktober 2026 um 15:07 UTC. Alle 91 Jobs des Veröffentlichungslaufs für den exakten Tag waren erfolgreich. Fünf Toolchain-Archive und zwei Installer enthalten SHA256SUMS, fünf Archiv-Attestierungen und unabhängig geprüfte signierte Gesamtnachweise. Native Installationsabläufe sind Veröffentlichungsgates. Keine Notarisierung oder Zusage reproduzierbarer Builds; Offline-Prüfung bestätigt keinen aktuellen Widerrufsstatus. Exakte Tag-CI.
Paket- und API-VorschauDie Veröffentlichung enthält nutzbare Profile für die Sprache, Quellcode-Regeln, Entwicklungswerkzeuge und Host-Integrationen. Für generierte Rust/npm-Pakete, öffentliche generische ABIs und weitere Plattformen gelten weiterhin eigene Entscheidungen über Veröffentlichung und Unterstützung.

Am 15. Oktober 2026 anhand von v0.9.0, veröffentlichten Dateien und Release-Lauf geprüft. Installationshandbuch und Kanalregister im Tag zeigen noch Beispiele für v0.8.0; nutze die hier festgehaltenen v0.9.0-Downloads. Ältere Matrix- und Roadmap-Überschriften sind historisch. Das Live-Handbuch folgt main und kann neuere Arbeit beschreiben. GitHub-Repository.

// DOCS

Das Semaprax-Handbuch öffnen

Das Online-Handbuch ist die englische Anleitung aus main und kann Änderungen nach 0.9.0 behandeln. Nutze den fixierten Snapshot, um diese Veröffentlichung nachzuvollziehen.

// REF

Primärquellen für diese Seite

Am 15. Oktober 2026 anhand von v0.9.0, veröffentlichten Dateien und Release-Lauf geprüft. Installationshandbuch und Kanalregister im Tag zeigen noch Beispiele für v0.8.0; nutze die hier festgehaltenen v0.9.0-Downloads. Ältere Matrix- und Roadmap-Überschriften sind historisch. Das Live-Handbuch folgt main und kann neuere Arbeit beschreiben.

  1. Vertrag für kompaktes model-text und exakte Tokentabelle
  2. Lokaler Tokenmessbericht mit Rohdaten
  3. Tokenberichte für einzelne Eingaben und Sitzungen
  4. Semantik von Anbieterbelegen, Kosten und Ausgabegrenzen
  5. Kostenpflichtige Werkzeugqualifikation und unveränderte Standards
  6. Belege und Mehraufwand echter Rust-Anwendungen
  7. Hot-Reload-Zeiten und Vergleich mit Neustarts
  8. Ursprüngliche Messgrenze des Kontexts
  9. Changelog und Release-Historie im Tag
  10. Routing-Unterstützung und nicht ausgewertetes Gate
  11. LAW16-Versuche, negative Ergebnisse und Grenzen
// FAQ

Fragen und praktische Antworten

Braucht Semaprax weniger Tokens als Rust oder C?

Ein allgemeiner Sprachvergleich ist nicht belegt. Die Tabelle für kompakte Kontexte vergleicht zwei Kodierungen derselben ausgewählten Semaprax-Fakten und enthält Einsparungen wie Verschlechterungen. Eine separate kostenpflichtige Kampagne der Entwicklungswerkzeuge maß Kosten pro akzeptierter Aufgabe. Ihre beste Einsparung von ungefähr 1% erreichte die Qualifikationsschwelle von 10% nicht.

Warum einen Benchmark ohne Einsparung veröffentlichen?

So sehen Nutzer, wann eine Optimierung hilft und wann nicht. Kleine kompakte Ansichten können wachsen, die dokumentierte Hot-Reload-Testanwendung ist langsamer als ein Neustart und manche Rust-Anwendungspfade haben schlechteren Durchsatz. Zusammen mit den positiven Nachweisen machen diese Ergebnisse Entscheidungen über Standards und Unterstützung prüfbar.

Forschungsprojekt von Wavect: Wavect GmbH. Von Wavect als Open-Source-Forschungsprojekt für Programmiersysteme entwickelt.