T3MP3ST Review 2026: Kann es einen Penetrationstest ersetzen?

TL;DR

T3MP3ST ist ein vielversprechendes Open-Source-Harness für autorisierte, KI-gestützte Sicherheitstests, aber kein Ersatz für einen Penetrationstest. Die stärkste öffentliche Evidenz betrifft toolgestützte Reconnaissance, Scope-Kontrollen, nachvollziehbare Belege und reproduzierbare Single-Agent-Benchmarks. Das Repository bezeichnet den koordinierten Acht-Operatoren-Swarm ausdrücklich als nicht gebenchmarkt und unzuverlässig; in Full-Chain-Runs wurden null Exploits ausgeführt. Unser Vergleich öffentlicher Dokumente mit OWASP APTS zeigt gute Ansätze bei Scope und Auditierbarkeit, aber nur teilweise oder nicht belegte Kontrollen für Safety, abgestufte Autonomie, Manipulationsresistenz, Supply Chain und Reporting. Pilotiere zuerst in einem absichtlich verwundbaren Lab, dann in isoliertem Staging, mit schriftlichen Rules of Engagement, gepinntem Commit, Aufsicht und evidence-basierter Abnahme. Für Business Logic, Assurance und finale Verantwortung bleibt ein unabhängiger Pentest nötig.

Nein, jedenfalls heute nicht. T3MP3ST ist ein vielversprechendes Open-Source-Harness für autorisierte, KI-gestützte Security-Tests: vor allem für Reconnaissance, wiederholbare Lab-Tests und Evidence Capture. Es ersetzt weder einen unabhängigen Penetrationstest noch menschliche Business-Logic-Reviews oder Compliance-taugliche Assurance. Das Repository sagt selbst, dass die Benchmarks aus einem Single-Agent-Loop stammen und koordinierte Swarm-Exploitation unbewiesen bleibt.

Genau das ist die nützliche Kaufentscheidung. Wir haben das öffentliche Repository am 2. September 2026 geprüft und die vorhandenen Belege den acht Governance-Domänen des OWASP Autonomous Penetration Testing Standard (APTS) gegenübergestellt. Das ist ein Dokumenten-Review, kein formales Conformance-Audit und kein Hands-on-Pentest.

Soll dein Produkt vor dem unabhängigen Pentest gehärtet werden?

Production Review planen

Was ist T3MP3ST?

T3MP3ST ist eine TypeScript-basierte Orchestrierungsschicht. Sie verbindet Claude Code, Codex, Hermes, OpenCode oder Oh My Pi sowie lokale/API-Modelle mit Security-Tools, einer Browser-„War Room“, Scope-Kontrollen und einem Evidence Ledger. Es ist ein Harness, kein eigenes Security-Modell.

Öffentlicher Fakt, Stand 2. September 2026	Bedeutung für Käufer
AGPL-3.0-or-later, Package-Version 1.0.0	Open Source; modifizierte Netzwerk-Deployments brauchen Lizenzprüfung.
36 Default-Tools, 109 im Opt-in-Arsenal	Breite Tool-Abdeckung erhöht auch den Governance-Aufwand. FEATURES.md enthält noch 35/83, also besteht Dokumentationsdrift.
War Room, CLI, HTTP API und ein live MCP-Tool	Flexibel integrierbar, aber jede Control Surface muss gehärtet werden.
Keine veröffentlichte GitHub-Release	Einen geprüften Commit pinnen; main ist kein stabiler Vendor-Release.
Vom Repository gemeldeter XBEN Black-box pass@1-Mittelwert: 90,1 %	Interessant, aber kein Beweis für den Acht-Agenten-Swarm oder deine Anwendung.

Was ist bewiesen, was experimentell?

Die Feature-Dokumentation markiert Reconnaissance und Scanning als implementiert. Exploiter, Infiltrator, Exfiltrator, Ghost und Coordinator sind experimentell. Full-chain-Runs hätten null ausgeführte Exploits geliefert; die Headline-Benchmarks stammen vom Single Agent, nicht von der koordinierten Zelle.

Fähigkeit	Öffentlicher Beleg	Unsere Einordnung
Reconnaissance und Scanning	Implementierter, tool-backed Loop	Glaubwürdiger Pilot-Scope
Finding-Provenienz	Tool-Output, Evidence-Referenzen, Retests	Eine der stärksten Designentscheidungen
Single-Agent-Benchmarks	Re-derivable Resultate; gemeldet: 90,1 % XBEN, 23/40 Cybench, 8/10 exakte CVE-Zero-Treffer	Auf gepinntem Commit und eigenem Testset reproduzieren
End-to-end Multi-Agent-Exploitation	Explizit unbenchmarked und unzuverlässig	Das Swarm-Versprechen noch nicht kaufen

Diese Zahlen sind First-Party-Systemergebnisse, keine unabhängigen Modell-Scores. Das aktuelle README nennt gpt-5.5 für XBEN, Opus 4.8 für 23/40 bei Cybench und zehn Fälle im held-out CVE-Zero-Set. verify-claims berechnet die bewerteten Ergebnisse aus committed Daten neu, doch rohe XBEN-Transkripte wurden aus Datenschutzgründen entfernt. Prüfer können damit die Projektwertung neu berechnen, nicht jede zugrunde liegende Interaktion unabhängig inspizieren.

Die Provenienz-Regel ist richtig: Modellprosa ist Analyse, kein Beweis. Ein Finding bleibt Hypothese, bis Tool-Output, ein reproduzierbares Artefakt oder ein Retest es stützt.

Wie schneidet T3MP3ST gegen OWASP APTS ab?

OWASP APTS definiert 173 Pflichtanforderungen in acht Domänen. „Nicht belegt“ bedeutet hier nur, dass die öffentliche Dokumentation nicht reicht, nicht, dass die Kontrolle sicher fehlt.

APTS-Domäne	Öffentliches Signal	Entscheidung
Scope Enforcement	Nach Festlegung eines Mission Targets verweigern eingebaute Netzwerktools fremde öffentliche Hosts; Loopback und private Adressen bleiben erlaubt.	Vielversprechend, aber keine vollständige Grenze; DNS-Rebinding, Private-Address-Pivots, Zeitfenster und Cloud-Scope testen
Safety Controls	Riskante Tools sind approval-gated	Teilweise; Kill Switch, Watchdog, Rollback und Sandbox-Integrität beweisen
Human Oversight	Receipts, Approvals und Operator Review	Teilweise; Default-safe Timeouts und irreversible Actions testen
Graduated Autonomy	Manuelle und autonome Modi als Konzept	Nicht auf APTS-Level gemappt; Pilot nur supervised
Auditability	Evidence Vault, Finding Ledger, Retests, re-derivable Claims	Stärkster Bereich; tamper-evident Logs und isolierten Audit Store prüfen
Manipulation Resistance	Scope Enforcement liegt außerhalb des Modells	Für Prompt Injection, feindlichen Target-Output und Runtime-Isolation nicht belegt
Supply-chain Trust	Lockfile, Overrides, offener Code	Teilweise; der Tag-Workflow konfiguriert ein Sigstore-Provenance-Bundle, aber es gibt keine veröffentlichten Release-Belege, kein SBOM im Repository und keine etablierte Model-Change-Governance.
Reporting	Evidence-backed Findings und Markdown-Reports	Teilweise; False Positives, Coverage und unabhängige Reproduktion testen

Kann T3MP3ST einen menschlichen Pentest ersetzen?

Nein. Nutze es als Ergänzung für häufigere autorisierte Reconnaissance und Evidence Capture zwischen menschlich geführten Assessments. NIST SP 800-115 behandelt Penetrationstests als Teil eines geplanten Assessment-Prozesses mit Rules of Engagement, Analyse und Mitigation. Ein selbst betriebenes Tool erzeugt keine Unabhängigkeit.

Bedarf	T3MP3ST-Fit heute	Was Menschen leisten müssen
Wiederholte Recon im isolierten Lab/Staging	Guter Pilot-Kandidat	Scope Owner und Evidence Reviewer
Kontinuierliche Security-Signale	Nützliche Ergänzung möglich	Triage, Remediation, Regression Ownership
Business Logic und Abuse Cases	Kein bewiesener Ersatz	Produktkontext und adversariales Urteil
Kunden-, Investoren- oder Regulatorik-Nachweis	Nur unterstützende Evidenz	Unabhängiger Scope und Report, wo gefordert

Wie sieht ein sicherer Pilot aus?

Schriftlicher Mission Contract: Owner, Targets, erlaubte Aktionen, Zeitfenster, Verbote, Stop-Kriterien und Datenregeln. Das Scope- und Autorisierungsmodell ist ein Startpunkt.
Absichtlich verwundbares Lab, dann isoliertes Staging: Produktion ist nicht das erste Experiment.
Commit und Umgebung pinnen: Modell, Agent, Tools, Prompts, Konfiguration und Target-Image erfassen.
Supervised laufen und Evidenz bewerten: Jedes Finding braucht Tool-Output, Reproduktionspfad, Severity-Begründung und Retest.
Unabhängigen Pentest behalten: T3MP3ST soll vermeidbare Findings vorher reduzieren, nicht seine eigene Arbeit zertifizieren.

Was kostet „Open Source und keyless“ wirklich?

Budgetiere Coding-Agent-Abo oder API, isolierte Umgebung, externe Tools, Operator Review, Evidence Triage, Remediation und Retest. Wenn du das Programm änderst und entfernte Nutzer mit dieser Version interagieren lässt, gehören die AGPL und die GNU-FAQ zur Source-Offer-Pflicht in die Lizenzprüfung. Das ist keine Rechtsberatung. Die Geschäftsfrage lautet nicht „Ist es gratis?“, sondern: „Erzeugt ein beaufsichtigter Run mehr verifizierte, behebbare Risikoreduktion pro Engineering-Woche als unser heutiger Scanner-plus-Review-Workflow?“

Wenn du einen reiferen Open-Source-Agent mit veröffentlichten Releases, CI-Kontrollen, Hosted Pricing und einem vom Anbieter ausgeführten 104-Challenge-Benchmark vergleichst, nutze unseren 30-Tage-Guide für einen Strix AI Pentesting Pilot. Er fokussiert Kosten, Procurement-Evidence und eine messbare Einführungsentscheidung, statt diesen Ersatz-Review zu wiederholen.

Wenn du nicht entscheidest, welches autonome Red-Team-Harness du kaufst, sondern wie du ein starkes Modell während der Evaluation sicher begrenzt, nutze unsere Security-Checkliste für KI-Agenten-Eval-Sandboxes. Sie behandelt verschachtelte Isolation, Egress, Credentials, Benchmark-Integrität und Incident Response als eigene Architekturfrage.

Häufige Fragen

Ist T3MP3ST ein Penetrationstest-Tool?

Es ist ein Open-Source-Harness für autorisierte, KI-gestützte Offensive Security. Am stärksten belegt sind Reconnaissance, Single-Agent-Benchmarks, Scope-Kontrollen und Finding-Provenienz; der koordinierte End-to-end-Swarm ist explizit unbewiesen.

Kann T3MP3ST einen Penetrationstest ersetzen?

Nein. Es kann häufigere Reconnaissance und Evidence Capture liefern, ersetzt aber weder unabhängigen Scope noch Business-Logic-Tests, qualifizierten Review oder einen geforderten Assurance-Report.

Ist T3MP3ST sicher für Produktion?

Nicht als erstes Ziel. Starte im verwundbaren Lab, gehe dann in isoliertes Staging mit schriftlichen Rules of Engagement und menschlicher Freigabe für aktive oder irreversible Aktionen.

Sind die Benchmarks unabhängig?

Nein. Sie stammen vom Repository. Das Projekt liefert allerdings committed Daten und verify-claims zur Neuberechnung. Reproduzierbare First-party-Evidenz ist besser als eine unbelegte Behauptung, aber keine unabhängige Evaluation.

Was sollte ein CTO im Pilot messen?

Verifizierte Findings pro Operator-Stunde, False-positive-Rate, Reproduzierbarkeit, Remediation- und Retest-Zeit, Out-of-scope-Denials, Human-review-Zeit und Kosten pro geschlossenem High-risk-Finding.

Fazit

T3MP3ST ist interessant, weil es Provenienz, Scope und überprüfbare Claims ernster nimmt als die meisten AI-Security-Launches. Das ehrliche Urteil bleibt enger als die Headline: Heute ist es ein glaubwürdiges Research- und Supervised-Testing-Harness, kein Ersatz für ein Pentest-Team.

Automatisiere wiederholbare, autorisierte Reconnaissance und Evidence Capture. Behalte Menschen dort, wo Kontext, Unabhängigkeit und Verantwortung zählen: Business Logic, Scope, Remediation und finale Assurance.

Weniger vermeidbare Findings vor dem unabhängigen Pentest?

Produkt prüfen und härten