Review de T3MP3ST 2026: ¿puede sustituir un pentest?
No, todavía no. T3MP3ST es un harness open source prometedor para pruebas de seguridad autorizadas con IA, sobre todo reconnaissance, trabajo repetible en laboratorio y captura de evidencia. No sustituye un pentest independiente, la revisión humana de lógica de negocio ni una garantía apta para compliance. El propio repositorio dice que los benchmarks corresponden a un loop de un solo agente y que la explotación coordinada del swarm sigue sin demostrarse.
Revisamos el repositorio público el 15 de julio de 2026 y contrastamos sus pruebas con los ocho dominios del OWASP Autonomous Penetration Testing Standard (APTS). Es una revisión documental, no una auditoría formal de conformidad ni un pentest práctico.
¿Quieres endurecer tu aplicación antes del pentest independiente?
Planificar una revisión¿Qué es T3MP3ST?
T3MP3ST es una capa de orquestación en TypeScript que conecta Claude Code, Codex, Hermes o un modelo local/API con herramientas de seguridad, una “War Room”, controles de alcance y un ledger de evidencia. Es un harness, no un modelo de seguridad propio.
| Hecho público, 15 de julio de 2026 | Lectura para un comprador |
|---|---|
| AGPL-3.0-or-later, versión 1.0.0 | Open source; los despliegues de red modificados requieren revisión de licencia. |
| 35 herramientas por defecto; 83 con arsenal opt-in | Más cobertura y también más carga de gobierno. |
| War Room, CLI, API HTTP y una herramienta MCP activa | Flexible, pero cada superficie de control necesita hardening. |
| Sin release publicada en GitHub | Fija un commit revisado; main no es una release estable. |
| XBEN black-box pass@1 medio del 90,1%, según el repositorio | Evidencia interesante, no prueba del swarm ni garantía para tu aplicación. |
¿Qué está probado y qué sigue experimental?
La documentación de features marca reconnaissance y scanning como implementados. Exploiter, Infiltrator, Exfiltrator, Ghost y Coordinator son experimentales. También declara cero exploits ejecutados en runs full-chain y que los benchmarks principales proceden de un agente, no de la célula coordinada de ocho operadores.
| Capacidad | Evidencia pública | Nuestra lectura |
|---|---|---|
| Reconnaissance y scanning | Loop real con herramientas | Scope creíble para un piloto |
| Proveniencia de findings | Output de herramientas, referencias y retests | Una de las mejores decisiones de diseño |
| Benchmarks single-agent | Resultados recalculables; 90,1% XBEN, 23/40 Cybench, 8/10 CVE-Zero exactos según el repo | Reproducir sobre commit fijado y dataset propio |
| Explotación multiagente end-to-end | Explícitamente no benchmarkeada y poco fiable | No comprar aún la promesa del swarm |
La regla de proveniencia verificada es correcta: el texto del modelo es análisis, no prueba. Un finding debe seguir siendo hipótesis hasta que lo respalde output de una herramienta, un artefacto reproducible o un retest.
¿Cómo queda frente a OWASP APTS?
OWASP APTS contiene 173 requisitos obligatorios en ocho dominios. “No establecido” significa que la documentación pública no basta, no que el control necesariamente falte.
| Dominio APTS | Señal pública | Decisión |
|---|---|---|
| Scope enforcement | Scope receipts, controles de egress y denegación fuera de alcance | Prometedor; probar DNS rebinding, ventanas temporales y cloud scope |
| Safety controls | Herramientas peligrosas con approval gate | Parcial; demostrar kill switch, watchdog, rollback y sandbox |
| Human oversight | Receipts, aprobaciones y revisión del operador | Parcial; probar timeouts seguros y acciones irreversibles |
| Graduated autonomy | Modos humanos y autónomos conceptuales | Sin mapeo a niveles APTS; piloto supervisado |
| Auditability | Evidence Vault, findings, retests y claims recalculables | Área más fuerte; faltan pruebas de logs tamper-evident y storage aislado |
| Manipulation resistance | Alcance aplicado fuera del modelo | No establecido para prompt injection, output hostil e aislamiento del runtime |
| Supply-chain trust | Lockfile, overrides y código abierto | Parcial; sin release, y SBOM, signing y cambios de modelo no establecidos |
| Reporting | Findings con evidencia e informes Markdown | Parcial; validar falsos positivos, cobertura y reproducción independiente |
¿Puede reemplazar un pentest humano?
No. Tiene sentido como complemento para aumentar la frecuencia de reconnaissance autorizada y evidencia entre assessments humanos. NIST SP 800-115 sitúa el pentest dentro de un proceso planificado con reglas de engagement, análisis y mitigación. Una herramienta autooperada no genera independencia.
| Necesidad | Fit actual | Lo que sigue siendo humano |
|---|---|---|
| Recon repetida en lab o staging aislado | Buen candidato a piloto | Owner del scope y reviewer |
| Señales continuas entre releases | Complemento potencial | Triage, remediación y regresión |
| Lógica de negocio y abuse cases | No probado como sustituto | Contexto de producto y criterio adversarial |
| Garantía para cliente, inversor o regulador | Solo evidencia auxiliar | Scope e informe independientes cuando se exijan |
¿Cómo montar un piloto seguro?
- Contrato de misión escrito: owner, targets, acciones permitidas, ventana, prohibiciones, stop conditions y reglas de datos.
- Lab vulnerable y después staging aislado: producción no es el primer experimento.
- Fijar commit y entorno: modelo, agente, tools, prompts, configuración e imagen del target.
- Ejecución supervisada: cada finding aceptado necesita output, reproducción, severidad y retest.
- Mantener el pentest independiente: usar T3MP3ST para reducir findings evitables, no para certificarse a sí mismo.
¿Cuánto cuesta de verdad “open source y keyless”?
Cuenta la suscripción o API del agente, entorno aislado, herramientas, review, triage, remediación y retest. Si modificas y expones el software por red, revisa la AGPL. La pregunta comercial no es si el repo es gratis, sino si produce más reducción de riesgo verificada por semana de ingeniería que tu flujo actual.
Preguntas frecuentes
¿T3MP3ST es una herramienta de pentesting?
¿Puede sustituir un pentest?
¿Es seguro usarlo en producción?
¿Sus benchmarks son independientes?
¿Qué debe medir un CTO?
Reflexiones finales
T3MP3ST merece atención porque trata proveniencia, alcance y claims verificables con más disciplina que muchos lanzamientos de AI security. El veredicto honesto es más estrecho que el titular: hoy es un harness creíble de investigación y testing supervisado, no el reemplazo de un equipo de pentest.
Automatiza reconnaissance repetible y captura de evidencia. Mantén humanos donde importan contexto, independencia y responsabilidad: lógica de negocio, scope, remediación y garantía final.
¿Menos findings evitables antes del pentest independiente?
Revisar y endurecer el producto