BENCHMARK · AGENT CONTEXT V1

Kontext ist messbar. Kostenvorteile sind noch nicht belegt.

Das Gegenbeispiel vor der Behauptung veröffentlichen.

Der aktuelle Benchmark fixiert einen kleinen Quellkorpus und vergleicht deterministische Kontextartefakte. Er misst Compilermechanik, nicht Modell- oder Repository-Ökonomie.

semaprax://benchmarksv0.2
entity     Semaprax
status     Pre-Alpha-Forschung
verified   2026-08-11
authority  github.com/wavect/semaprax

Ist Semaprax für Coding-Agenten günstiger?

Nicht belegt. Semaprax ist für typisierten, begrenzten Kontext ausgelegt, doch der aktuelle Agent-Context-v1-Benchmark misst weder Modelltokens, Latenz, Antwortqualität, akzeptierte Aufgaben noch Repository-Kosten. Im kleinen Korpus ist das Kontextartefakt größer als der Quelltext.

// 01

Was der aktuelle Benchmark misst

Fixierter Input

Ein kleiner versionierter Semaprax-Korpus und eine Wartungsaufgabe

Deterministischer Output

Agent-Context-v1-JSON mit Byte-, Knoten- und Tiefengrenzen

Vergleichsgrenze

Quelltextbytes gegen strukturierte Kontextbytes im fixierten Korpus

// 02

Was er nicht misst

  • Modell-Input- oder Output-Tokens
  • Laufzeit oder Providerpreis
  • Antwortkorrektheit oder akzeptierte Patches
  • Navigation und Wartung im Repository-Maßstab
  • Vergleiche mit Rust, C, C++, Go oder anderen Sprachen
// 03

Nötige Evidenz vor einer Kostenaussage

  1. Gleichwertige Wartungsaufgaben und Repository-Snapshots fixieren.
  2. Dasselbe Modell, Harness, dieselben Rechte und Abbruchregeln verwenden.
  3. Abgerechnete Tokens, Zeit, Akzeptanzrate und Regressionen messen.
  4. Rohtraces, Ausschlüsse, Fehlversuche und Konfidenzintervalle veröffentlichen.
  5. Über Repository-Größen und mehrere Modellfamilien wiederholen.

Die GitHub-Spezifikationen sind die normative Quelle. Diese Seite ist eine datierte Forschungszusammenfassung. GitHub-Repository.

// FAQ

Fragen, ohne Hype beantwortet

Braucht Semaprax weniger Tokens als Rust oder C?

Dafür gibt es noch keine belastbare Evidenz. Der aktuelle Benchmark führt kein Modell aus und vergleicht keine Sprachen.

Warum einen Benchmark ohne Einsparung veröffentlichen?

Weil er den Messvertrag fixiert und Gegenbelege vor einer Marketingaussage sichtbar macht.

Forschungsprojekt von Wavect: Wavect GmbH. Von Wavect als Open-Source-Forschungsprojekt für Programmiersysteme entwickelt.