AI 试点终止或扩展评分卡：运行 30 天后检查的 12 项指标

AI 试点成功标准必须回答一个决策问题：这个系统是否创造了足够可靠的商业价值，值得投入下一笔预算？在 30 个有代表性的运行日之后，从经济性、自动化质量、可靠性、采用率和治理五个维度检查 12 项指标。每项标为绿、黄或红，但不能让漂亮的总分掩盖不可接受的安全事件、误报成本或审计缺口。

本文负责衡量，不负责上线顺序。如果你要规划第 0 到 90 天，请看AI 智能体 30/60/90 天试点计划。本评分卡从工作流积累 30 天影子模式或真实运行数据后开始使用。若要拆解 token、工具和重试成本，请看AI 智能体每次成功动作成本。

什么才是好的 AI 试点成功标准？

好的成功标准会把新工作流与已测量的旧流程基线比较，只把达到业务质量门槛的结果算作成功，把人工纠正和失败损失计入成本，并设置不可被平均分抵消的治理硬门槛。标准应在试点前写好，并在固定日期产出明确决定：扩展、限时迭代一次，或终止。

“30 天后”指用户和真实任务确实能够进入系统的 30 个运行日。若一个月都在等待权限、数据或集成，这说明数据准备不足，并不能证明采用率或任务表现。

本框架遵循 NIST AI RMF Measure Playbook 的逻辑：与人工或上线前基线比较，监控真实行为，记录人工覆盖和升级，并留下有责任人的 go/no-go 决策。Microsoft 将端到端任务完成与工具调用等过程指标分开；Google Cloud 则基于包含模型输入、输出和工具调用的不可变 trace 评估智能体。

AI 试点的 12 项评分指标

以下区间是 Wavect 针对低风险内部运营流程建议的起点，不是通用行业基准。若业务风险、经济模型或服务等级更严格，应在试点开始前替换阈值。

不要因为表格里有某个数字就直接照抄。20% 的人工升级率对高风险审批流程可能合理，对一级客服自动化却可能意味着商业模型失败。应先写清错误的业务后果，再确定阈值。

如何计算这 12 项 AI 试点 KPI？

1. 基线任务成本

对现有流程抽取有代表性的样本，计入完全人工成本、可归属的软件费用、审核、返工和预期错误损失。Microsoft 的智能体价值指标同样要求在构建前记录生产时间、系统成本与返工。

基线任务成本 = 中位人工分钟 × 完全成本时薪 ÷ 60 + 单任务系统成本 + 返工成本 + 预期错误损失。

2. 每次成功动作成本

模型回答不是业务结果。成功可以是正确入账的发票、没有再次打开的工单，或被销售接受的线索。失败尝试产生的费用仍留在分子中。

每次成功动作成本 =（模型 + 检索 + 工具 + 平台 + 重试 + 人工纠正 + 事故）÷ 成功动作。

3. 全自动完成率

Microsoft 称其为 touchless rate，即无需人工干预而端到端完成的比例。被纠正、批准或救回的运行不算全自动。

全自动完成率 = 零人工干预的成功动作 ÷ 合格尝试 × 100。

4. 人工纠正时间

以所有合格尝试为分母，包括纠正时间为零的案例。若每个动作都必须审核，另行记录审核时间。

每次尝试的人工纠正时间 = 纠正总分钟 ÷ 全部合格尝试。

5. 工具调用失败率

统计超时、认证、权限、schema、限流及 4xx/5xx 错误，并按工具拆分。Microsoft Foundry 会分别评估工具选择、输入、输出利用和技术成功。

工具调用失败率 = 技术失败调用 ÷ 全部工具调用 × 100。

6. 误报成本

准确率默认每种错误代价相同，业务现实并非如此。Google 的分类指标指南建议按照误报和漏报的实际成本选择指标。

每次尝试的误报成本 = 调查、撤销、补救、客户与合规损失总和 ÷ 合格尝试。

7. P50 与 P95 延迟

P50 代表典型体验；P95 暴露重试、大上下文和慢工具形成的长尾。应从业务事件进入到可用结果完成计时。OpenTelemetry 可记录模型耗时、token 以及智能体和工具 span。

8. 升级率

升级指因置信度、权限、数据或能力不足而有意交给人工，不应与崩溃或静默失败混在一起。

升级率 = 有意交给人工的动作 ÷ 合格尝试 × 100。

9. 用户采用率

邀请、开户和一次登录不等于采用。Microsoft 以滚动四周内至少四个活跃日作为日常采用示例，也可以按照任务频率预先设定标准。

日常采用率 = 达到预定重复使用标准的合格用户 ÷ 被邀请的合格用户 × 100。

10. 可审计性

独立审核者应能重建输入、模型和 prompt 版本、工具序列、人工或策略介入及最终业务结果。对于高风险系统，欧盟《人工智能法案》要求日志能力与适当的人工监督。

可审计率 = 具有完整 trace 且连接业务结果的抽样运行 ÷ 全部抽样运行 × 100。

11. 数据准备失败率

把字段缺失、过期记录、重复、文档质量、无法访问的来源和错误权限与模型错误分开。AWS 将严肃的生成式 AI PoC 定义为对商业价值、数据准备、技术可行性和风险控制的验证。

12. 回收期

剩余投资应包括集成、安全、数据、培训、监控和变更管理。月度净收益必须扣除 AI 运营、剩余人工和预期失败损失。

月度净收益 = 避免的基线成本 − AI 运营成本 − 剩余人工成本 − 预期失败损失。

回收期（月）= 剩余生产投资 ÷ 月度净收益。

如果净收益为零或负数，回收期不是很长，而是不存在。

终止或扩展的评分如何工作？

绿色 2 分，黄色 1 分，红色 0 分，满分 24 分。

三项硬门槛优先于总分：不可接受的伤害或误报事件；高影响动作缺少审计 trace；没有可信基线或成功定义。

完整示例：发票处理 AI 试点

一家奥地利运营团队让智能体在 30 个运行日中处理 1,000 张发票。成功表示字段正确且进入正确队列；全自动还要求没有纠正或升级。

总分 18/24：限时迭代一次，再重新评分。经济性、采用率和可审计性支持下一步，但广泛上线前应修复主要连接器、供应商主数据和超过 60 秒的 P95 重试路径。

第 30 天决策会议需要什么？

1. 统一定义合格尝试、成功、全自动、升级、误报和数据失败。
2. 展示基线、样本、排除项和工作量。
3. 展示 12 行评分卡，包括目标、实际值、颜色、负责人和证据。
4. 审查最慢、纠正最多和最昂贵的 trace。
5. 列出事故、隐私、越权和缺失 trace。
6. 形成有负责人和下次日期的书面决定。

"试点成功不是因为模型看起来聪明，而是因为有代表性的流程真的更便宜或更好，用户愿意持续使用，失败没有突破风险预算，而且不参与构建的团队也能重建发生了什么。"

这张评分卡在 AI 试点工具箱中的位置

用本文做第 30 天投资决定；用30/60/90 天计划安排权限、影子模式、有限生产和移交；用每次动作成本模型分析 token、工具、重试、缓存和路由。

来源与方法

这是 Wavect 的原创决策框架。公式可复算；阈值是低风险内部流程的建议，不是通用平均值。资料于 2026 年 7 月 16 日核对，来源包括 NIST、Microsoft、Google Cloud、OpenTelemetry、AWS 和欧盟《人工智能法案》。