--- title: "Canary AI QA: medir defectos, no puntos de benchmark" canonical: https://wavect.io/es/blog/canary-ai-qa-defect-detection/ language: es description: "Evalúa Canary junto a Claude Code o Codex con defectos conocidos, controles limpios y pruebas ejecutadas. Interpreta correctamente QA-Bench v0." image: "https://wavect.io/img/blog/headers/header_canary-ai-qa-defect-detection.png" --- [**Volver**](/es/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/es/team/kevin-riedl/) [Kevin Riedl](/es/team/kevin-riedl/) https://linkedin.com/in/wsdt 4 min de lectura · 8 de octubre de 2026 Última revisión 8 de octubre de 2026 [**Siguiente**](/es/blog/greptile-base-plus-apex-review-budget/) # Canary AI QA: medir defectos, no puntos de benchmark Resumen QA-Bench v0 de Canary evalúa salidas de verificación con un LLM como juez. Su puntuación no es un porcentaje de detección observado. Evalúa adopción con defectos conocidos, controles limpios, ejecución real e investigación independiente de los hallazgos. **Base de evidencia:** Documentación revisada el 8 de octubre de 2026. Esta es una guía de implementación investigada. El piloto se propone para tu equipo; no hemos ejecutado estas evaluaciones ni medido el rendimiento de los proveedores. ## ¿Qué demuestra el benchmark de Canary? La [metodología de QA-Bench v0](https://www.runcanary.ai/blog/qa-bench-v0) evalúa salidas para 35 PR en cuatro repositorios. Puntúa relevancia, cobertura y coherencia con un juez LLM. Sus limitaciones reconocen diferencias entre planes generales y scripts concretos, y consideran más justa una comparación mediante pruebas ejecutadas con resultado binario. Un valor como 83,1 no significa “Canary detecta el 83,1% de los bugs”. Tampoco establece el rendimiento de tu configuración actual de Claude Code o Codex. Usa el benchmark para entender el problema y mide después el resultado que necesitas. ## ¿Qué medir en un piloto de adopción? Para cada defecto conocido, comprueba que la prueba generada y ejecutada falla en la versión defectuosa y pasa en la reparada por el motivo correcto. Separa identificar flujos, escribir pruebas, ejecutarlas y reproducir defectos. Un buen plan puede aportar valor sin ser todavía una regresión ejecutable. La [referencia publicada de configuración de Canary](https://www.runcanary.ai/#install) sirve para comprobar integración actual. Fija versión y flujo soportado; un modelo citado en un benchmark antiguo no acredita compatibilidad actual. Separa el agente que escribe la función de la evidencia de aceptación cuando sea posible. ## ¿Qué defectos introducir en la aplicación? Usa una aplicación desechable con dos clientes y versión correcta de referencia. Introduce un defecto cada vez, oculta sus etiquetas al agente e incluye controles sin errores. Estos casos son un corpus propuesto, no resultados de Canary. | Defecto | Aserción necesaria | Control útil | | --- | --- | --- | | Falta de comprobación de propietario | A no puede leer registros de B | A sigue leyendo los suyos | | Envío duplicado | Una solicitud lógica crea un registro | Dos solicitudes distintas crean dos | | Permisos solo en UI | Escritura directa al backend denegada | Rol autorizado puede escribir | | Fallo mostrado como éxito | UI y estado guardado indican fallo | Camino normal persiste correctamente | | Borrado demasiado amplio | Solo borra registros seleccionados | Los demás siguen accesibles | | Sesión caducada | Sin escritura privilegiada | Sesión válida funciona | Los defectos de seguridad deliberados deben usar datos sintéticos locales o aislados. No los introduzcas en producción compartida para obtener realismo. ## ¿Cómo puntuar sin confundir resultados? 1. Usa igual aplicación inicial, contexto de PR y tiempo para cada configuración. 2. Guarda planes, pruebas, comandos, logs y estado final. 3. Reproduce defectos de forma independiente y separa fallos de infraestructura. 4. Ejecuta cada prueba candidata en versión defectuosa y reparada. 5. Cuenta detecciones confirmadas, defectos sembrados omitidos, falsos positivos y minutos de revisión. Publica clase de defecto y tamaño de muestra. Una prueba que falla porque la app no arranca no detectó el defecto. Una que sigue fallando tras reparar no demuestra una regresión útil. Conserva repeticiones para mostrar variabilidad. ## ¿Puede sustituir Canary a tu suite? No lo decidas por una puntuación del proveedor. Conserva verificaciones deterministas de invariantes e integraciones críticas. Las pruebas exploratorias generadas pueden descubrir flujos omitidos. Promueve pruebas a la suite mantenida tras revisar assertions, responsabilidad de fixtures y estabilidad. Define un criterio explícito de parada para fugas de permisos y errores destructivos. Un promedio alto no compensa omitir un defecto crítico de aislamiento. Establece el límite antes de ver resultados. ## ¿Cómo presupuestar QA con IA? Mide coste por verificación aceptada, con infraestructura, repeticiones y triage humano. Los informes duplicados cuentan como un defecto. Observa qué pruebas siguen siendo útiles tras reparar y después de otro cambio. Generar barato puede salir caro si cada PR exige investigar falsos positivos. ## ¿Cuándo añadir Canary al flujo? Cuando un piloto aislado aporte detecciones útiles o regresiones mantenibles con triage asumible. Si su valor es planificación de flujos, úsalo y descríbelo así. Lleva corpus de defectos y criterios para [definir una evaluación independiente de QA](/es/contact/). [Descarga el protocolo de piloto propuesto en JSON. Contiene casos de aceptación y campos de resultado vacíos, no resultados medidos.](/downloads/canary-ai-qa-defect-detection-pilot.json) ## Guías de implementación relacionadas [Greptile Base, Plus o Apex: presupuesto de revisión de PR](/es/blog/greptile-base-plus-apex-review-budget/). [Arga Labs vs Archal: pruebas de integración con estado](/es/blog/arga-vs-archal-agent-integration-testing/). ## Fuentes verificadas - [Canary: QA-Bench v0](https://www.runcanary.ai/blog/qa-bench-v0) - [Canary: CLI](https://www.runcanary.ai/#install) **Independencia y marcas:** Wavect publica esta página y es también un proveedor, así que tenemos un interés comercial en ella. No estamos afiliados a las demás empresas nombradas aquí, no contamos con su respaldo y no somos socios suyos, y todos los nombres de empresa, marcas y marcas registradas de terceros pertenecen a sus respectivos titulares. Las afirmaciones sobre otros proveedores proceden de fuentes públicamente accesibles, sobre todo de sus propias páginas publicadas, en la fecha de revisión indicada en esta página, y pueden haber cambiado desde entonces. Verifícalas directamente antes de decidir. Esta página se ha redactado según nuestro leal saber y entender, con la intención de mantenernos objetivos. Si crees que algo aquí es inexacto o injusto, escríbenos y lo corregimos: [office@wavect.io](mailto:office@wavect.io) QA y preparación para producción ## Continúa por este clúster Pruebas, auditorías, mantenimiento y hardening para software fiable. [Empieza por el artículo fundamental**QA para Código Generado por IA**](/es/blog/qa-for-ai-generated-code/) - [Greptile Base, Plus o Apex: presupuesto de revisión de PR](/es/blog/greptile-base-plus-apex-review-budget/) - [Arga Labs vs Archal: pruebas de integración con estado](/es/blog/arga-vs-archal-agent-integration-testing/) - [Cua para QA de escritorio: del navegador a la app nativa](/es/blog/cua-desktop-qa-browser-native-workflow/) - [Browser Use vs Playwright: Verificar acciones tras un timeout](/es/blog/browser-use-vs-playwright-authenticated-workflow/) - [ChatGPT Dots + GitHub: Del reporte de error al PR revisado](/es/blog/chatgpt-dots-github-bug-triage/) [**Volver**](/es/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/es/team/kevin-riedl/) [Kevin Riedl](/es/team/kevin-riedl/) https://linkedin.com/in/wsdt 4 min de lectura · 8 de octubre de 2026 Última revisión 8 de octubre de 2026 [**Siguiente**](/es/blog/greptile-base-plus-apex-review-budget/) ## Structured Data ```json { "@context": "https://schema.org", "@graph": [ { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ], "employee": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "founder": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "legalRepresentative": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "name": "Wavect GmbH", "subjectOf": { "@id": "https://wavect.io/verified-claims.json#dataset", "@type": "Dataset", "creator": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "description": "A machine-readable registry of quantitative and qualitative claims published by Wavect, with review dates, localized page appearances and public third-party citations where available.", "inLanguage": "en", "isAccessibleForFree": true, "license": "https://creativecommons.org/licenses/by/4.0/", "name": "Wavect verified publication claims", "url": "https://wavect.io/verified-claims.json" }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "sameAs": [ "https://www.wikidata.org/wiki/Q139796367", "https://www.linkedin.com/in/jocr77/", "https://github.com/jo-chris" ], "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/#website", "@type": "WebSite", "inLanguage": [ "en", "de", "es", "zh" ], "name": "Wavect", "potentialAction": { "@type": "SearchAction", "query-input": "required name=search_term_string", "target": { "@type": "EntryPoint", "urlTemplate": "https://wavect.io/search/?q={search_term_string}" } }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/es/blog/canary-ai-qa-defect-detection/#webpage", "@type": "WebPage", "dateModified": "2026-10-08", "inLanguage": "es", "isPartOf": { "@id": "https://wavect.io/#website", "@type": "WebSite" }, "lastReviewed": "2026-10-08", "url": "https://wavect.io/es/blog/canary-ai-qa-defect-detection/" } ] } ``` ```json { "@context": "https://schema.org", "@type": "BlogPosting", "abstract": "QA-Bench v0 de Canary evalúa salidas de verificación con un LLM como juez. Su puntuación no es un porcentaje de detección observado. Evalúa adopción con defectos conocidos, controles limpios, ejecución real e investigación independiente de los hallazgos.", "articleBody": " Resumen del blog/Entrega y QA/QA y preparación para producción Canary AI QA: medir defectos, no puntos de benchmark Resumen QA-Bench v0 de Canary evalúa salidas de verificación con un LLM como juez. Su puntuación no es un porcentaje de detección observado. Evalúa adopción con defectos conocidos, controles limpios, ejecución real e investigación independiente de los hallazgos. Base de evidencia: Documentación revisada el 8 de octubre de 2026. Esta es una guía de implementación investigada. El piloto se propone para tu equipo; no hemos ejecutado estas evaluaciones ni medido el rendimiento de los proveedores. ¿Qué demuestra el benchmark de Canary? La metodología de QA-Bench v0 evalúa salidas para 35 PR en cuatro repositorios. Puntúa relevancia, cobertura y coherencia con un juez LLM. Sus limitaciones reconocen diferencias entre planes generales y scripts concretos, y consideran más justa una comparación mediante pruebas ejecutadas con resultado binario. Un valor como 83,1 no significa “Canary detecta el 83,1% de los bugs”. Tampoco establece el rendimiento de tu configuración actual de Claude Code o Codex. Usa el benchmark para entender el problema y mide después el resultado que necesitas. ¿Qué medir en un piloto de adopción? Para cada defecto conocido, comprueba que la prueba generada y ejecutada falla en la versión defectuosa y pasa en la reparada por el motivo correcto. Separa identificar flujos, escribir pruebas, ejecutarlas y reproducir defectos. Un buen plan puede aportar valor sin ser todavía una regresión ejecutable. La referencia publicada de configuración de Canary sirve para comprobar integración actual. Fija versión y flujo soportado; un modelo citado en un benchmark antiguo no acredita compatibilidad actual. Separa el agente que escribe la función de la evidencia de aceptación cuando sea posible. ¿Qué defectos introducir en la aplicación? Usa una aplicación desechable con dos clientes y versión correcta de referencia. Introduce un defecto cada vez, oculta sus etiquetas al agente e incluye controles sin errores. Estos casos son un corpus propuesto, no resultados de Canary. DefectoAserción necesariaControl útil Falta de comprobación de propietarioA no puede leer registros de BA sigue leyendo los suyosEnvío duplicadoUna solicitud lógica crea un registroDos solicitudes distintas crean dosPermisos solo en UIEscritura directa al backend denegadaRol autorizado puede escribirFallo mostrado como éxitoUI y estado guardado indican falloCamino normal persiste correctamenteBorrado demasiado amplioSolo borra registros seleccionadosLos demás siguen accesiblesSesión caducadaSin escritura privilegiadaSesión válida funciona Los defectos de seguridad deliberados deben usar datos sintéticos locales o aislados. No los introduzcas en producción compartida para obtener realismo. ¿Cómo puntuar sin confundir resultados? Usa igual aplicación inicial, contexto de PR y tiempo para cada configuración.Guarda planes, pruebas, comandos, logs y estado final.Reproduce defectos de forma independiente y separa fallos de infraestructura.Ejecuta cada prueba candidata en versión defectuosa y reparada.Cuenta detecciones confirmadas, defectos sembrados omitidos, falsos positivos y minutos de revisión. Publica clase de defecto y tamaño de muestra. Una prueba que falla porque la app no arranca no detectó el defecto. Una que sigue fallando tras reparar no demuestra una regresión útil. Conserva repeticiones para mostrar variabilidad. ¿Puede sustituir Canary a tu suite? No lo decidas por una puntuación del proveedor. Conserva verificaciones deterministas de invariantes e integraciones críticas. Las pruebas exploratorias generadas pueden descubrir flujos omitidos. Promueve pruebas a la suite mantenida tras revisar assertions, responsabilidad de fixtures y estabilidad. Define un criterio explícito de parada para fugas de permisos y errores destructivos. Un promedio alto no compensa omitir un defecto crítico de aislamiento. Establece el límite antes de ver resultados. ¿Cómo presupuestar QA con IA? Mide coste por verificación aceptada, con infraestructura, repeticiones y triage humano. Los informes duplicados cuentan como un defecto. Observa qué pruebas siguen siendo útiles tras reparar y después de otro cambio. Generar barato puede salir caro si cada PR exige investigar falsos positivos. ¿Cuándo añadir Canary al flujo? Cuando un piloto aislado aporte detecciones útiles o regresiones mantenibles con triage asumible. Si su valor es planificación de flujos, úsalo y descríbelo así. Lleva corpus de defectos y criterios para definir una evaluación independiente de QA. Descarga el protocolo de piloto propuesto en JSON. Contiene casos de aceptación y campos de resultado vacíos, no resultados medidos. Guías de implementación relacionadas Greptile Base, Plus o Apex: presupuesto de revisión de PR. Arga Labs vs Archal: pruebas de integración con estado. Fuentes verificadas Canary: QA-Bench v0Canary: CLI Independencia y marcas: Wavect publica esta página y", "articleSection": "Ingeniería", "author": { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/" }, "citation": [ { "@type": "WebPage", "name": "metodología de QA-Bench v0", "url": "https://www.runcanary.ai/blog/qa-bench-v0" }, { "@type": "WebPage", "name": "referencia publicada de configuración de Canary", "url": "https://www.runcanary.ai/#install" } ], "dateModified": "2026-10-08", "datePublished": "2026-10-08", "description": "QA-Bench v0 de Canary evalúa salidas de verificación con un LLM como juez. Su puntuación no es un porcentaje de detección observado. Evalúa adopción con defectos conocidos, controles limpios, ejecución real e investigación independiente de los hallazgos.", "headline": "Canary AI QA: medir defectos, no puntos de benchmark", "image": "https://wavect.io/img/blog/headers/header_canary-ai-qa-defect-detection.svg", "inLanguage": "es", "keywords": "Ingeniería, Agentes de IA", "mainEntityOfPage": { "@id": "https://wavect.io/es/blog/canary-ai-qa-defect-detection/", "@type": "WebPage" }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/es/blog/canary-ai-qa-defect-detection/", "wordCount": 1068 } ``` ```json { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "item": "https://wavect.io/es/", "name": "Inicio", "position": 1 }, { "@type": "ListItem", "item": "https://wavect.io/es/blog/overview/", "name": "Resumen del blog", "position": 2 }, { "@type": "ListItem", "item": "https://wavect.io/es/blog/topics/delivery-qa/", "name": "Entrega y QA", "position": 3 }, { "@type": "ListItem", "item": "https://wavect.io/es/blog/clusters/qa-production/", "name": "QA y preparación para producción", "position": 4 }, { "@type": "ListItem", "item": "https://wavect.io/es/blog/canary-ai-qa-defect-detection/", "name": "Canary AI QA: medir defectos, no puntos de benchmark", "position": 5 } ] } ```