T3MP3ST Review 2026: Kann es einen Penetrationstest ersetzen?

TL;DR

T3MP3ST ist ein vielversprechendes Open-Source-Harness für autorisierte, KI-gestützte Sicherheitstests, aber kein Ersatz für einen Penetrationstest. Die stärkste öffentliche Evidenz betrifft toolgestützte Reconnaissance, Scope-Kontrollen, nachvollziehbare Belege und reproduzierbare Single-Agent-Benchmarks. Das Repository bezeichnet den koordinierten Acht-Operatoren-Swarm ausdrücklich als nicht gebenchmarkt und unzuverlässig; in Full-Chain-Runs wurden null Exploits ausgeführt. Unser Vergleich öffentlicher Dokumente mit OWASP APTS zeigt gute Ansätze bei Scope und Auditierbarkeit, aber nur teilweise oder nicht belegte Kontrollen für Safety, abgestufte Autonomie, Manipulationsresistenz, Supply Chain und Reporting. Pilotieren Sie zuerst in einem absichtlich verwundbaren Lab, dann in isoliertem Staging, mit schriftlichen Rules of Engagement, gepinntem Commit, Aufsicht und evidence-basierter Abnahme. Für Business Logic, Assurance und finale Verantwortung bleibt ein unabhängiger Pentest nötig.

Nein, jedenfalls heute nicht. T3MP3ST ist ein vielversprechendes Open-Source-Harness für autorisierte, KI-gestützte Security-Tests: vor allem für Reconnaissance, wiederholbare Lab-Tests und Evidence Capture. Es ersetzt weder einen unabhängigen Penetrationstest noch menschliche Business-Logic-Reviews oder Compliance-taugliche Assurance. Das Repository sagt selbst, dass die Benchmarks aus einem Single-Agent-Loop stammen und koordinierte Swarm-Exploitation unbewiesen bleibt.

Genau das ist die nützliche Kaufentscheidung. Wir haben das öffentliche Repository am 15. Juli 2026 geprüft und die vorhandenen Belege den acht Governance-Domänen des OWASP Autonomous Penetration Testing Standard (APTS) gegenübergestellt. Das ist ein Dokumenten-Review, kein formales Conformance-Audit und kein Hands-on-Pentest.

Soll dein Produkt vor dem unabhängigen Pentest gehärtet werden?

Production Review planen

Was ist T3MP3ST?

T3MP3ST ist eine TypeScript-basierte Orchestrierungsschicht. Sie verbindet Claude Code, Codex, Hermes oder ein lokales/API-Modell mit Security-Tools, einer Browser-„War Room“, Scope-Kontrollen und einem Evidence Ledger. Es ist ein Harness, kein eigenes Security-Modell.

Öffentlicher Fakt, Stand 15. Juli 2026	Bedeutung für Käufer
AGPL-3.0-or-later, Package-Version 1.0.0	Open Source; modifizierte Netzwerk-Deployments brauchen Lizenzprüfung.
35 Default-Tools, 83 im Opt-in-Arsenal	Breite Tool-Abdeckung erhöht auch den Governance-Aufwand.
War Room, CLI, HTTP API und ein live MCP-Tool	Flexibel integrierbar, aber jede Control Surface muss gehärtet werden.
Keine veröffentlichte GitHub-Release	Einen geprüften Commit pinnen; main ist kein stabiler Vendor-Release.
Vom Repository gemeldeter XBEN Black-box pass@1-Mittelwert: 90,1 %	Interessant, aber kein Beweis für den Acht-Agenten-Swarm oder deine Anwendung.

Was ist bewiesen, was experimentell?

Die Feature-Dokumentation markiert Reconnaissance und Scanning als implementiert. Exploiter, Infiltrator, Exfiltrator, Ghost und Coordinator sind experimentell. Full-chain-Runs hätten null ausgeführte Exploits geliefert; die Headline-Benchmarks stammen vom Single Agent, nicht von der koordinierten Zelle.

Fähigkeit	Öffentlicher Beleg	Unsere Einordnung
Reconnaissance und Scanning	Implementierter, tool-backed Loop	Glaubwürdiger Pilot-Scope
Finding-Provenienz	Tool-Output, Evidence-Referenzen, Retests	Eine der stärksten Designentscheidungen
Single-Agent-Benchmarks	Re-derivable Resultate; gemeldet: 90,1 % XBEN, 23/40 Cybench, 8/10 exakte CVE-Zero-Treffer	Auf gepinntem Commit und eigenem Testset reproduzieren
End-to-end Multi-Agent-Exploitation	Explizit unbenchmarked und unzuverlässig	Das Swarm-Versprechen noch nicht kaufen

Die Provenienz-Regel ist richtig: Modellprosa ist Analyse, kein Beweis. Ein Finding bleibt Hypothese, bis Tool-Output, ein reproduzierbares Artefakt oder ein Retest es stützt.

Wie schneidet T3MP3ST gegen OWASP APTS ab?

OWASP APTS definiert 173 Pflichtanforderungen in acht Domänen. „Nicht belegt“ bedeutet hier nur, dass die öffentliche Dokumentation nicht reicht, nicht, dass die Kontrolle sicher fehlt.

APTS-Domäne	Öffentliches Signal	Entscheidung
Scope Enforcement	Scope Receipts, target-bound Egress-Kontrollen, Out-of-scope-Denial	Vielversprechend; DNS-Rebinding, Zeitfenster und Cloud-Scope testen
Safety Controls	Riskante Tools sind approval-gated	Teilweise; Kill Switch, Watchdog, Rollback und Sandbox-Integrität beweisen
Human Oversight	Receipts, Approvals und Operator Review	Teilweise; Default-safe Timeouts und irreversible Actions testen
Graduated Autonomy	Manuelle und autonome Modi als Konzept	Nicht auf APTS-Level gemappt; Pilot nur supervised
Auditability	Evidence Vault, Finding Ledger, Retests, re-derivable Claims	Stärkster Bereich; tamper-evident Logs und isolierten Audit Store prüfen
Manipulation Resistance	Scope Enforcement liegt außerhalb des Modells	Für Prompt Injection, feindlichen Target-Output und Runtime-Isolation nicht belegt
Supply-chain Trust	Lockfile, Overrides, offener Code	Teilweise; keine Release zum Pinnen, SBOM/Signing/Model-Change-Governance nicht belegt
Reporting	Evidence-backed Findings und Markdown-Reports	Teilweise; False Positives, Coverage und unabhängige Reproduktion testen

Kann T3MP3ST einen menschlichen Pentest ersetzen?

Nein. Nutze es als Ergänzung für häufigere autorisierte Reconnaissance und Evidence Capture zwischen menschlich geführten Assessments. NIST SP 800-115 behandelt Penetrationstests als Teil eines geplanten Assessment-Prozesses mit Rules of Engagement, Analyse und Mitigation. Ein selbst betriebenes Tool erzeugt keine Unabhängigkeit.

Bedarf	T3MP3ST-Fit heute	Was Menschen leisten müssen
Wiederholte Recon im isolierten Lab/Staging	Guter Pilot-Kandidat	Scope Owner und Evidence Reviewer
Kontinuierliche Security-Signale	Nützliche Ergänzung möglich	Triage, Remediation, Regression Ownership
Business Logic und Abuse Cases	Kein bewiesener Ersatz	Produktkontext und adversariales Urteil
Kunden-, Investoren- oder Regulatorik-Nachweis	Nur unterstützende Evidenz	Unabhängiger Scope und Report, wo gefordert

Wie sieht ein sicherer Pilot aus?

Schriftlicher Mission Contract: Owner, Targets, erlaubte Aktionen, Zeitfenster, Verbote, Stop-Kriterien und Datenregeln.
Absichtlich verwundbares Lab, dann isoliertes Staging: Produktion ist nicht das erste Experiment.
Commit und Umgebung pinnen: Modell, Agent, Tools, Prompts, Konfiguration und Target-Image erfassen.
Supervised laufen und Evidenz bewerten: Jedes Finding braucht Tool-Output, Reproduktionspfad, Severity-Begründung und Retest.
Unabhängigen Pentest behalten: T3MP3ST soll vermeidbare Findings vorher reduzieren, nicht seine eigene Arbeit zertifizieren.

Was kostet „Open Source und keyless“ wirklich?

Budgetiere Coding-Agent-Abo oder API, isolierte Umgebung, externe Tools, Operator Review, Evidence Triage, Remediation und Retest. Bei modifizierten Netzwerk-Deployments gehört außerdem die AGPL in die Lizenzprüfung. Die Geschäftsfrage lautet nicht „Ist es gratis?“, sondern: „Erzeugt ein beaufsichtigter Run mehr verifizierte, behebbare Risikoreduktion pro Engineering-Woche als unser heutiger Scanner-plus-Review-Workflow?“

Häufige Fragen

Ist T3MP3ST ein Penetrationstest-Tool?

Es ist ein Open-Source-Harness für autorisierte, KI-gestützte Offensive Security. Am stärksten belegt sind Reconnaissance, Single-Agent-Benchmarks, Scope-Kontrollen und Finding-Provenienz; der koordinierte End-to-end-Swarm ist explizit unbewiesen.

Kann T3MP3ST einen Penetrationstest ersetzen?

Nein. Es kann häufigere Reconnaissance und Evidence Capture liefern, ersetzt aber weder unabhängigen Scope noch Business-Logic-Tests, qualifizierten Review oder einen geforderten Assurance-Report.

Ist T3MP3ST sicher für Produktion?

Nicht als erstes Ziel. Starte im verwundbaren Lab, gehe dann in isoliertes Staging mit schriftlichen Rules of Engagement und menschlicher Freigabe für aktive oder irreversible Aktionen.

Sind die Benchmarks unabhängig?

Nein. Sie stammen vom Repository. Das Projekt liefert allerdings committed Daten und verify-claims zur Neuberechnung. Reproduzierbare First-party-Evidenz ist besser als eine unbelegte Behauptung, aber keine unabhängige Evaluation.

Was sollte ein CTO im Pilot messen?

Verifizierte Findings pro Operator-Stunde, False-positive-Rate, Reproduzierbarkeit, Remediation- und Retest-Zeit, Out-of-scope-Denials, Human-review-Zeit und Kosten pro geschlossenem High-risk-Finding.

Fazit

T3MP3ST ist interessant, weil es Provenienz, Scope und überprüfbare Claims ernster nimmt als die meisten AI-Security-Launches. Das ehrliche Urteil bleibt enger als die Headline: Heute ist es ein glaubwürdiges Research- und Supervised-Testing-Harness, kein Ersatz für ein Pentest-Team.

Automatisiere wiederholbare, autorisierte Reconnaissance und Evidence Capture. Behalte Menschen dort, wo Kontext, Unabhängigkeit und Verantwortung zählen: Business Logic, Scope, Remediation und finale Assurance.

Weniger vermeidbare Findings vor dem unabhängigen Pentest?

Produkt prüfen und härten