Scorecard para Cancelar o Escalar un Piloto de IA: 12 Métricas Tras 30 Días

Los criterios de éxito de un piloto de IA deben responder una decisión: ¿ha generado el sistema suficiente valor de negocio fiable para justificar el siguiente euro de inversión? Tras 30 días operativos medidos, evalúa 12 métricas de economía, calidad de automatización, fiabilidad, adopción y gobernanza. Puntúa cada una en verde, ámbar o rojo, pero no permitas que un promedio alto oculte un fallo inaceptable de seguridad, falsos positivos o auditabilidad.

Este es el modelo de medición, no el plan de despliegue. Para decidir qué hacer entre los días 0 y 90, usa nuestro plan de piloto de agente de IA de 30/60/90 días. Este scorecard empieza después de 30 días de uso representativo en modo sombra o producción. Para profundizar en la economía operativa, consulta el coste por acción exitosa de un agente de IA.

¿Cuáles son buenos criterios de éxito para un piloto de IA?

Unos buenos criterios comparan el nuevo flujo con una línea base medida, cuentan solo resultados que superan el umbral de calidad del negocio, incluyen corrección humana y costes de fallo, y fijan barreras duras de gobernanza. Se escriben antes del piloto y producen en una fecha fija una decisión explícita: escalar, iterar una vez o detener.

"Tras 30 días" significa 30 días en los que usuarios y trabajo representativos pudieron llegar al sistema. Un mes bloqueado por permisos, datos o integraciones es evidencia de falta de preparación de datos, no una muestra válida de adopción o rendimiento.

El marco sigue la lógica del NIST AI RMF Playbook: comparar con una línea base humana o previa al despliegue, observar el comportamiento real, registrar anulaciones y escalados, y documentar decisiones responsables de go/no-go. Microsoft separa la finalización end-to-end de las métricas de proceso, y Google Cloud evalúa trazas inmutables con entradas, respuestas y tool calls.

El scorecard de 12 métricas

Estas bandas son el punto de partida recomendado por Wavect para un flujo interno de bajo riesgo. No son benchmarks universales. Sustitúyelas antes del kickoff cuando la economía, el riesgo o el SLO exijan un listón diferente.

No copies un umbral solo porque aparece en una tabla. Un 20% de escalado puede ser sano para una aprobación de alto riesgo y fatal para soporte de nivel uno. Define primero la consecuencia de negocio y después el objetivo.

¿Cómo se calcula cada KPI?

1. Coste base por tarea

Mide una muestra representativa del proceso actual e incluye trabajo a coste completo, software atribuible, revisión, retrabajo y pérdida esperada por errores. Microsoft define el coste por transacción con tiempo productivo, sistemas y retrabajo antes de construir el agente.

Coste base = (minutos medianos × coste horario completo ÷ 60) + sistemas + retrabajo + pérdida esperada por errores.

2. Coste por acción exitosa

Una respuesta del modelo no es un resultado. Define éxito como una factura contabilizada correctamente, un ticket resuelto sin reapertura o un lead aceptado por ventas.

Coste por acción exitosa = (modelo + retrieval + herramientas + plataforma + reintentos + corrección humana + incidentes) ÷ acciones exitosas.

3. Finalización sin intervención

Microsoft la llama touchless rate: la proporción completada de principio a fin sin intervención humana. Una ejecución corregida, aprobada o rescatada no cuenta.

Tasa sin intervención = éxitos sin intervención humana ÷ intentos elegibles × 100.

4. Tiempo de corrección humana

Mide sobre todos los intentos, incluidos los de cero minutos. Registra aparte la revisión obligatoria.

Tiempo de corrección por intento = minutos totales de corrección ÷ intentos elegibles.

5. Fallos de tool calls

Cuenta timeouts, autenticación, permisos, validación de schema, rate limits y respuestas 4xx o 5xx. Reporta también por herramienta. Microsoft Foundry separa selección, precisión de inputs, uso del output y éxito técnico del resultado final.

Tasa de fallo = tool calls con error técnico ÷ tool calls totales × 100.

6. Coste de falsos positivos

La accuracy trata los errores por igual; el negocio no. Google recomienda elegir la métrica según el coste relativo de falsos positivos y falsos negativos.

Coste por intento = suma de investigación, reversión, remediación, cliente y compliance ÷ intentos elegibles.

7. Latencia P50 y P95

P50 representa la experiencia típica; P95 revela la cola lenta por reintentos, contexto y herramientas. Mide desde el evento de negocio hasta el resultado útil. OpenTelemetry captura duración, tokens y spans de agente y herramientas.

P50 es el tiempo en el que termina el 50% de las acciones; P95, el tiempo en el que termina el 95%.

8. Tasa de escalado

Un escalado es una transferencia deliberada por falta de confianza, autoridad, datos o capacidad. No lo mezcles con fallos técnicos.

Tasa de escalado = acciones entregadas a una persona ÷ intentos elegibles × 100.

9. Adopción

Invitaciones y logins únicos no son adopción. Microsoft usa cuatro o más días activos en cuatro semanas como ejemplo de hábito. Adapta el umbral a la frecuencia real de la tarea.

Adopción rutinaria = usuarios que superan el umbral acordado ÷ usuarios elegibles invitados × 100.

10. Auditabilidad

Una ejecución es auditable si un revisor puede reconstruir input, modelo y prompt, herramientas, intervención humana y resultado. Para sistemas de alto riesgo, el Reglamento de IA de la UE exige logging y supervisión humana.

Auditabilidad = ejecuciones con traza completa y resultado enlazado ÷ ejecuciones muestreadas × 100.

11. Fallos de preparación de datos

Etiqueta campos ausentes, datos obsoletos, duplicados, mala calidad documental, fuentes inaccesibles y permisos erróneos por separado. AWS trata un PoC serio como validación de valor, datos, viabilidad técnica y riesgo.

Tasa de fallos de datos = intentos invalidados por datos inadecuados, ausentes, obsoletos o inaccesibles ÷ intentos elegibles × 100.

12. Periodo de retorno

Incluye integración, seguridad, datos, formación, monitorización y cambio organizativo. Resta costes de IA, trabajo humano residual y pérdidas esperadas.

Beneficio neto mensual = coste base evitado − operación de IA − coste humano residual − pérdida esperada.

Retorno en meses = inversión de producción restante ÷ beneficio neto mensual.

Si el beneficio es cero o negativo, el retorno no es largo: no existe.

¿Cómo funciona la decisión de cancelar o escalar?

Verde vale 2 puntos, ámbar 1 y rojo 0. El máximo es 24.

Tres barreras anulan el total: daño inaceptable, ausencia de traza en una acción de alto impacto, o falta de una línea base y definición de resultado defendibles.

Ejemplo completo: IA para procesar facturas

Un equipo austriaco prueba un agente que extrae, valida y enruta 1.000 facturas durante 30 días. Éxito significa campos correctos y cola correcta; sin intervención significa además cero correcciones y escalados.

El total es 18 de 24: iterar una vez y volver a medir. La economía, adopción y auditabilidad justifican otro paso controlado, pero antes hay que reparar el conector, mejorar los datos maestros de proveedores y bajar P95 de 60 segundos.

¿Qué debe contener la reunión del día 30?

1. Definiciones únicas de intento, éxito, escalado, falso positivo y fallo de datos.
2. Línea base, muestra, exclusiones y volumen.
3. Scorecard con objetivo, actual, banda, responsable y evidencia.
4. Las trazas más lentas, corregidas y caras.
5. Incidentes, privacidad, accesos y trazas ausentes.
6. Una decisión firmada con responsable y próxima fecha.

"Un piloto no tiene éxito porque el modelo parezca inteligente. Tiene éxito cuando un flujo representativo mejora, los usuarios lo eligen, los fallos permanecen dentro del presupuesto de riesgo y otro equipo puede reconstruir lo ocurrido sin preguntar a quien lo construyó."

¿Dónde encaja este scorecard?

Úsalo para la decisión de inversión del día 30. Usa el plan de 30/60/90 días para secuencia, permisos, modo sombra y handover. Usa el modelo de coste por acción para tokens, herramientas, reintentos, caching y routing.

Fuentes y metodología

Este es un marco de decisión original de Wavect. Las fórmulas son reproducibles y los umbrales son recomendaciones para un flujo interno de bajo riesgo, no promedios universales. Fuentes verificadas el 16 de julio de 2026: NIST, Microsoft, Google Cloud, OpenTelemetry, AWS y el Reglamento de IA de la UE.