--- title: "AI 试点成功标准：12 项 KPI 评分卡" canonical: https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/ language: zh description: "用 12 项 AI 智能体 KPI、公式、硬门槛和完整案例评估运行 30 天的试点，基于证据决定扩展、迭代、暂停或终止。" image: "https://wavect.io/img/general/bak/open_graph_preview.jpg" --- [**返回**](/zh/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/zh/team/kevin-riedl/) [Kevin Riedl](/zh/team/kevin-riedl/) https://linkedin.com/in/wsdt 14 分钟 阅读 · 2026年7月16日 [**下一篇**](/zh/blog/t3mp3st-ai-red-teaming-review-2026/) # AI 试点终止或扩展评分卡：运行 30 天后检查的 12 项指标 要点速览 AI 试点运行 30 个有代表性的工作日后，应检查 12 项指标：基线任务成本、每次成功动作成本、 全自动完成率、人工纠正时间、工具调用失败率、误报成本、P50/P95 延迟、升级率、用户采用率、 可审计性、数据准备失败率和回收期。绿色 2 分、黄色 1 分、红色 0 分：20-24 分可受控扩展， 14-19 分只做一次限时迭代，0-13 分应终止或暂停。不可接受的伤害、缺失的高影响 trace 或 无效基线优先于总分。 AI 试点成功标准必须回答一个决策问题：这个系统是否创造了足够可靠的商业价值，值得投入下一笔预算？在 30 个有代表性的运行日之后，从经济性、自动化质量、可靠性、采用率和治理五个维度检查 12 项指标。每项标为绿、黄或红，但不能让漂亮的总分掩盖不可接受的安全事件、误报成本或审计缺口。 本文负责衡量，不负责上线顺序。如果你要规划第 0 到 90 天，请看 [AI 智能体 30/60/90 天试点计划](/zh/blog/ai-agent-pilot-30-60-90-days/) 。本评分卡从工作流积累 30 天影子模式或真实运行数据后开始使用。若要拆解 token、工具和重试成本，请看 [AI 智能体每次成功动作成本](/zh/blog/ai-agent-cost-per-action-2026/) 。 ## 什么才是好的 AI 试点成功标准？ 好的成功标准会把新工作流与已测量的旧流程基线比较，只把达到业务质量门槛的结果算作成功，把人工纠正和失败损失计入成本，并设置不可被平均分抵消的治理硬门槛。标准应在试点前写好，并在固定日期产出明确决定：扩展、限时迭代一次，或终止。 “30 天后”指用户和真实任务确实能够进入系统的 30 个运行日。若一个月都在等待权限、数据或集成，这说明数据准备不足，并不能证明采用率或任务表现。 本框架遵循 [NIST AI RMF Measure Playbook](https://airc.nist.gov/airmf-resources/playbook/measure/) 的逻辑：与人工或上线前基线比较，监控真实行为，记录人工覆盖和升级，并留下有责任人的 go/no-go 决策。Microsoft 将端到端任务完成与工具调用等过程指标分开；Google Cloud 则基于包含模型输入、输出和工具调用的不可变 trace 评估智能体。 ## AI 试点的 12 项评分指标 以下区间是 Wavect 针对低风险内部运营流程建议的起点，不是通用行业基准。若业务风险、经济模型或服务等级更严格，应在试点开始前替换阈值。 | # | 指标 | 公式 | 绿 | 黄 | 红 | | --- | --- | --- | --- | --- | --- | | 1 | 基线任务成本 | 人工分钟 × 完全成本时薪 ÷ 60 + 系统 + 返工 + 预期错误损失 | 代表性样本、负责人和分布已记录 | 有平均值，但返工或损失为估算 | 没有可信基线 | | 2 | 每次成功动作成本 | 全部试点运营成本 ÷ 达到质量门槛的动作 | ≤基线的 70% | 71% 至 100% | >100% | | 3 | 全自动完成率 | 无需人工纠正或升级的成功动作 ÷ 合格尝试 × 100 | ≥80% | 60% 至 79% | <60% | | 4 | 人工纠正时间 | 纠正总分钟 ÷ 合格尝试 | ≤基线时间的 20% | 21% 至 50% | >50% | | 5 | 工具调用失败率 | 技术失败的工具调用 ÷ 全部工具调用 × 100 | <2% | 2% 至 5% | >5% | | 6 | 误报成本 | 误报调查、撤销和损失总额 ÷ 合格尝试 | ≤毛收益的 5% | 5% 至 20% | >20% 或一次不可接受事件 | | 7 | P50 与 P95 延迟 | 端到端耗时的第 50 和第 95 百分位 | 两者都满足 SLO | P50 满足，P95 不满足 | P50 不满足或 P95 破坏流程 | | 8 | 升级率 | 交给人工的尝试 ÷ 合格尝试 × 100 | ≤15% | 16% 至 30% | >30% | | 9 | 用户采用率 | 达到日常使用标准的合格用户 ÷ 被邀请的合格用户 × 100 | ≥60% | 30% 至 59% | <30% | | 10 | 可审计性 | 可从 trace 与结果重建的运行 ÷ 抽样运行 × 100 | 高影响 100%，总体 ≥95% | 总体 90% 至 94% | <90% 或缺少高影响 trace | | 11 | 数据准备失败率 | 因数据被阻塞或判为无效的尝试 ÷ 合格尝试 × 100 | <5% | 5% 至 15% | >15% | | 12 | 回收期 | 剩余生产投资 ÷ 月度净收益 | ≤12 个月 | 13 至 24 个月 | >24 个月或无正收益 | 不要因为表格里有某个数字就直接照抄。20% 的人工升级率对高风险审批流程可能合理，对一级客服自动化却可能意味着商业模型失败。应先写清错误的业务后果，再确定阈值。 ## 如何计算这 12 项 AI 试点 KPI？ ### 1. 基线任务成本 对现有流程抽取有代表性的样本，计入完全人工成本、可归属的软件费用、审核、返工和预期错误损失。 [Microsoft 的智能体价值指标](https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/agent-business-value-metrics-reference) 同样要求在构建前记录生产时间、系统成本与返工。 基线任务成本 = 中位人工分钟 × 完全成本时薪 ÷ 60 + 单任务系统成本 + 返工成本 + 预期错误损失。 ### 2. 每次成功动作成本 模型回答不是业务结果。成功可以是正确入账的发票、没有再次打开的工单，或被销售接受的线索。失败尝试产生的费用仍留在分子中。 每次成功动作成本 =（模型 + 检索 + 工具 + 平台 + 重试 + 人工纠正 + 事故）÷ 成功动作。 ### 3. 全自动完成率 Microsoft 称其为 touchless rate，即无需人工干预而端到端完成的比例。被纠正、批准或救回的运行不算全自动。 全自动完成率 = 零人工干预的成功动作 ÷ 合格尝试 × 100。 ### 4. 人工纠正时间 以所有合格尝试为分母，包括纠正时间为零的案例。若每个动作都必须审核，另行记录审核时间。 每次尝试的人工纠正时间 = 纠正总分钟 ÷ 全部合格尝试。 ### 5. 工具调用失败率 统计超时、认证、权限、schema、限流及 4xx/5xx 错误，并按工具拆分。 [Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/agent-evaluators) 会分别评估工具选择、输入、输出利用和技术成功。 工具调用失败率 = 技术失败调用 ÷ 全部工具调用 × 100。 ### 6. 误报成本 准确率默认每种错误代价相同，业务现实并非如此。 [Google 的分类指标指南](https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall) 建议按照误报和漏报的实际成本选择指标。 每次尝试的误报成本 = 调查、撤销、补救、客户与合规损失总和 ÷ 合格尝试。 ### 7. P50 与 P95 延迟 P50 代表典型体验；P95 暴露重试、大上下文和慢工具形成的长尾。应从业务事件进入到可用结果完成计时。 [OpenTelemetry](https://opentelemetry.io/blog/2026/genai-observability/) 可记录模型耗时、token 以及智能体和工具 span。 ### 8. 升级率 升级指因置信度、权限、数据或能力不足而有意交给人工，不应与崩溃或静默失败混在一起。 升级率 = 有意交给人工的动作 ÷ 合格尝试 × 100。 ### 9. 用户采用率 邀请、开户和一次登录不等于采用。Microsoft 以滚动四周内至少四个活跃日作为日常采用示例，也可以按照任务频率预先设定标准。 日常采用率 = 达到预定重复使用标准的合格用户 ÷ 被邀请的合格用户 × 100。 ### 10. 可审计性 独立审核者应能重建输入、模型和 prompt 版本、工具序列、人工或策略介入及最终业务结果。对于高风险系统， [欧盟《人工智能法案》](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689) 要求日志能力与适当的人工监督。 可审计率 = 具有完整 trace 且连接业务结果的抽样运行 ÷ 全部抽样运行 × 100。 ### 11. 数据准备失败率 把字段缺失、过期记录、重复、文档质量、无法访问的来源和错误权限与模型错误分开。 [AWS](https://docs.aws.eu/prescriptive-guidance/latest/gen-ai-lifecycle-operational-excellence/gen-ai-lifecycle-operational-excellence.pdf) 将严肃的生成式 AI PoC 定义为对商业价值、数据准备、技术可行性和风险控制的验证。 ### 12. 回收期 剩余投资应包括集成、安全、数据、培训、监控和变更管理。月度净收益必须扣除 AI 运营、剩余人工和预期失败损失。 月度净收益 = 避免的基线成本 − AI 运营成本 − 剩余人工成本 − 预期失败损失。 回收期（月）= 剩余生产投资 ÷ 月度净收益。 如果净收益为零或负数，回收期不是很长，而是不存在。 ## 终止或扩展的评分如何工作？ 绿色 2 分，黄色 1 分，红色 0 分，满分 24 分。 | 决定 | 分数 | 动作 | | --- | --- | --- | | 扩展 | 20 至 24 | 扩大一个受控用户组或流量档位，继续监控并保留回滚。 | | 迭代一次 | 14 至 19 | 针对明确的黄项或红项做一次限时修复，然后重新评分。 | | 终止或暂停 | 0 至 13 | 停止上线支出。经济性或流程不匹配就终止；证据无效就暂停。 | 三项硬门槛优先于总分：不可接受的伤害或误报事件；高影响动作缺少审计 trace；没有可信基线或成功定义。 ## 完整示例：发票处理 AI 试点 一家奥地利运营团队让智能体在 30 个运行日中处理 1,000 张发票。成功表示字段正确且进入正确队列；全自动还要求没有纠正或升级。 | 指标 | 计算 | 结果 | | --- | --- | --- | | 基线成本 | 12 分钟 × €42 ÷ 60 + €1.10 | **€9.50，绿** | | 每次成功成本 | €1,768 ÷ 900 | **€1.96，绿** | | 全自动完成 | 720 ÷ 1,000 | **72%，黄** | | 纠正时间 | 440 分钟 ÷ 1,000 | **0.44 分钟，绿** | | 工具失败 | 108 ÷ 3,600 | **3%，黄** | | 误报成本 | €660 ÷ €9,500 | **6.9%，黄** | | 延迟 | P50 18 秒；P95 84 秒；SLO 60 秒 | **黄** | | 升级 | 190 ÷ 1,000 | **19%，黄** | | 采用 | 14 ÷ 18 | **77.8%，绿** | | 可审计性 | 高影响 100%；总体 96% | **绿** | | 数据失败 | 80 ÷ 1,000 | **8%，黄** | | 回收期 | €48,000 ÷ €9,278 | **5.2 个月，绿** | 总分 18/24：限时迭代一次，再重新评分。经济性、采用率和可审计性支持下一步，但广泛上线前应修复主要连接器、供应商主数据和超过 60 秒的 P95 重试路径。 ## 第 30 天决策会议需要什么？ 1. 统一定义合格尝试、成功、全自动、升级、误报和数据失败。 2. 展示基线、样本、排除项和工作量。 3. 展示 12 行评分卡，包括目标、实际值、颜色、负责人和证据。 4. 审查最慢、纠正最多和最昂贵的 trace。 5. 列出事故、隐私、越权和缺失 trace。 6. 形成有负责人和下次日期的书面决定。 ![Kevin Riedl](/img/team/kevin.webp) "试点成功不是因为模型看起来聪明，而是因为有代表性的流程真的更便宜或更好，用户愿意持续使用，失败没有突破风险预算，而且不参与构建的团队也能重建发生了什么。" ## 这张评分卡在 AI 试点工具箱中的位置 用本文做第 30 天投资决定；用 [30/60/90 天计划](/zh/blog/ai-agent-pilot-30-60-90-days/) 安排权限、影子模式、有限生产和移交；用 [每次动作成本模型](/zh/blog/ai-agent-cost-per-action-2026/) 分析 token、工具、重试、缓存和路由。 ## 来源与方法 这是 Wavect 的原创决策框架。公式可复算；阈值是低风险内部流程的建议，不是通用平均值。资料于 2026 年 7 月 16 日核对，来源包括 NIST、Microsoft、Google Cloud、OpenTelemetry、AWS 和欧盟《人工智能法案》。 ## 常见问题 ### 如何判断 AI 试点是否成功？ 把 30 天代表性使用与已测量基线比较，检查经济性、成功结果、全自动率、人工纠正、工具可靠性、误报成本、延迟、升级、采用率、可审计性、数据准备和回收期。不可接受的伤害、缺失的高影响 trace 或无效基线应直接阻止扩展。 ### AI 智能体试点最重要的 KPI 是什么？ 先看每次成功动作成本和全自动完成率，再加入人工纠正时间、工具调用失败、误报成本、P50/P95、升级率、日常采用、可审计性、数据准备失败和回收期。 ### 30 天足够评估 AI PoC 吗？ 如果包含有代表性的用户、案例类型和工作量，足够做第一次决定。若存在季节性、罕见安全事件，或大部分时间被数据访问阻塞，则需要针对明确证据缺口延长。 ### 什么时候应该终止 AI 试点？ 当月度净收益不为正、用户需求持续疲弱、失败超过风险预算，或一次限时迭代仍无法改善指定红项时应终止。若缺少基线、权限或代表性数据，应暂停而不是假装结论有效。 ### 如何计算 AI 试点回收期？ 从每月避免的基线成本中扣除 AI 运营、剩余人工和预期失败损失，再用剩余生产投资除以月度净收益。若净收益为零或负数，就不存在回收期。 ## 最终思考 第 30 天评审不应以演示或争论结束，而应以有负责人签字的决定结束。只有当商业价值、采用率和可审计性同时成立时才扩展；对可修复问题只做一次限时迭代；经济性或流程不匹配就终止；数据不足导致评分不诚实时就暂停。 ## 你可能也喜欢.. [**30/60/90 天 AI 智能体试点** 一个边界清晰工作流的上线计划：降低风险、影子模式、有限生产和团队移交。](/zh/blog/ai-agent-pilot-30-60-90-days/) [**AI Enablement 与通用 AI 咨询** 比较在你基础设施上交付可运行系统与只交付策略建议的项目。](/zh/compare/ai-enablement-vs-generic-ai-consultancy/) 智能体工程 ## 继续浏览此集群 编程智能体、MCP、上下文系统、评估与可靠自动化控制。 [从核心文章开始**AI 智能体的图工程：知识图谱什么时候值得做？**](/zh/blog/graph-engineering-ai-agents/) - [智能体编辑为何需要语义身份：用 Rust 构建 SEMAPRAX](/zh/blog/semantic-identity-rust-agent-edits/) - [LangChain Deep Agents 评测：Agent Harness 能否用于生产？](/zh/blog/langchain-deep-agents-review/) - [OpenViking 2026 评测：文件系统式记忆适合生产吗？](/zh/blog/openviking-agent-memory-review/) - [LLM-as-a-Verifier 详解：架构、成本与生产适用性](/zh/blog/llm-as-a-verifier/) - [TrueForge 评测：开源 Agent Harness 是否达到生产要求？](/zh/blog/trueforge-agent-harness-review/) 只收重要内容 ## 关注与你相关的内容 每当我们发布新文章，你会收到一封简短邮件。你可以关注整个博客，也可以只选感兴趣的主题。 [**返回**](/zh/blog/overview/) [![Kevin Riedl](/img/team/kevin.webp)](/zh/team/kevin-riedl/) [Kevin Riedl](/zh/team/kevin-riedl/) https://linkedin.com/in/wsdt 14 分钟 阅读 · 2026年7月16日 [**下一篇**](/zh/blog/t3mp3st-ai-red-teaming-review-2026/) 邮件订阅新文章 × × 通过邮件获取新文章 我们发布时给你一封简短邮件。免费，不做跟踪。 ## Structured Data ```json { "@context": "https://schema.org", "@graph": [ { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ], "employee": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "founder": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "legalRepresentative": [ { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } } ], "name": "Wavect GmbH", "subjectOf": { "@id": "https://wavect.io/verified-claims.json#dataset", "@type": "Dataset", "creator": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "description": "A machine-readable registry of quantitative and qualitative claims published by Wavect, with review dates, localized page appearances and public third-party citations where available.", "inLanguage": "en", "isAccessibleForFree": true, "license": "https://creativecommons.org/licenses/by/4.0/", "name": "Wavect verified publication claims", "url": "https://wavect.io/verified-claims.json" }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/team/christof-jori/#person", "@type": "Person", "jobTitle": "Managing Director", "name": "Christof Jori", "sameAs": [ "https://www.wikidata.org/wiki/Q139796367", "https://www.linkedin.com/in/jocr77/", "https://github.com/jo-chris" ], "url": "https://wavect.io/team/christof-jori/", "worksFor": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] } }, { "@id": "https://wavect.io/#website", "@type": "WebSite", "inLanguage": [ "en", "de", "es", "zh" ], "name": "Wavect", "potentialAction": { "@type": "SearchAction", "query-input": "required name=search_term_string", "target": { "@type": "EntryPoint", "urlTemplate": "https://wavect.io/search/?q={search_term_string}" } }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/" }, { "@id": "https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/#webpage", "@type": "WebPage", "dateModified": "2026-07-16", "inLanguage": "zh", "isPartOf": { "@id": "https://wavect.io/#website", "@type": "WebSite" }, "lastReviewed": "2026-07-16", "url": "https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/" } ] } ``` ```json { "@context": "https://schema.org", "@type": "BlogPosting", "abstract": "AI 试点运行 30 个有代表性的工作日后，应检查 12 项指标：基线任务成本、每次成功动作成本、 全自动完成率、人工纠正时间、工具调用失败率、误报成本、P50/P95 延迟、升级率、用户采用率、 可审计性、数据准备失败率和回收期。绿色 2 分、黄色 1 分、红色 0 分：20-24 分可受控扩展， 14-19 分只做一次限时迭代，0-13 分应终止或暂停。不可接受的伤害、缺失的高影响 trace 或 无效基线优先于总分。", "articleBody": " 博客概览/AI 与智能体/智能体工程 AI 试点终止或扩展评分卡：运行 30 天后检查的 12 项指标 要点速览 AI 试点运行 30 个有代表性的工作日后，应检查 12 项指标：基线任务成本、每次成功动作成本、 全自动完成率、人工纠正时间、工具调用失败率、误报成本、P50/P95 延迟、升级率、用户采用率、 可审计性、数据准备失败率和回收期。绿色 2 分、黄色 1 分、红色 0 分：20-24 分可受控扩展， 14-19 分只做一次限时迭代，0-13 分应终止或暂停。不可接受的伤害、缺失的高影响 trace 或 无效基线优先于总分。 AI 试点成功标准必须回答一个决策问题：这个系统是否创造了足够可靠的商业价值，值得投入下一笔预算？在 30 个有代表性的运行日之后，从经济性、自动化质量、可靠性、采用率和治理五个维度检查 12 项指标。每项标为绿、黄或红，但不能让漂亮的总分掩盖不可接受的安全事件、误报成本或审计缺口。 本文负责衡量，不负责上线顺序。如果你要规划第 0 到 90 天，请看AI 智能体 30/60/90 天试点计划。本评分卡从工作流积累 30 天影子模式或真实运行数据后开始使用。若要拆解 token、工具和重试成本，请看AI 智能体每次成功动作成本。 什么才是好的 AI 试点成功标准？ 好的成功标准会把新工作流与已测量的旧流程基线比较，只把达到业务质量门槛的结果算作成功，把人工纠正和失败损失计入成本，并设置不可被平均分抵消的治理硬门槛。标准应在试点前写好，并在固定日期产出明确决定：扩展、限时迭代一次，或终止。 “30 天后”指用户和真实任务确实能够进入系统的 30 个运行日。若一个月都在等待权限、数据或集成，这说明数据准备不足，并不能证明采用率或任务表现。 本框架遵循 NIST AI RMF Measure Playbook 的逻辑：与人工或上线前基线比较，监控真实行为，记录人工覆盖和升级，并留下有责任人的 go/no-go 决策。Microsoft 将端到端任务完成与工具调用等过程指标分开；Google Cloud 则基于包含模型输入、输出和工具调用的不可变 trace 评估智能体。 AI 试点的 12 项评分指标 以下区间是 Wavect 针对低风险内部运营流程建议的起点，不是通用行业基准。若业务风险、经济模型或服务等级更严格，应在试点开始前替换阈值。 #指标公式绿黄红 1基线任务成本人工分钟 × 完全成本时薪 ÷ 60 + 系统 + 返工 + 预期错误损失代表性样本、负责人和分布已记录有平均值，但返工或损失为估算没有可信基线 2每次成功动作成本全部试点运营成本 ÷ 达到质量门槛的动作≤基线的 70%71% 至 100%>100% 3全自动完成率无需人工纠正或升级的成功动作 ÷ 合格尝试 × 100≥80%60% 至 79%<60% 4人工纠正时间纠正总分钟 ÷ 合格尝试≤基线时间的 20%21% 至 50%>50% 5工具调用失败率技术失败的工具调用 ÷ 全部工具调用 × 100<2%2% 至 5%>5% 6误报成本误报调查、撤销和损失总额 ÷ 合格尝试≤毛收益的 5%5% 至 20%>20% 或一次不可接受事件 7P50 与 P95 延迟端到端耗时的第 50 和第 95 百分位两者都满足 SLOP50 满足，P95 不满足P50 不满足或 P95 破坏流程 8升级率交给人工的尝试 ÷ 合格尝试 × 100≤15%16% 至 30%>30% 9用户采用率达到日常使用标准的合格用户 ÷ 被邀请的合格用户 × 100≥60%30% 至 59%<30% 10可审计性可从 trace 与结果重建的运行 ÷ 抽样运行 × 100高影响 100%，总体 ≥95%总体 90% 至 94%<90% 或缺少高影响 trace 11数据准备失败率因数据被阻塞或判为无效的尝试 ÷ 合格尝试 × 100<5%5% 至 15%>15% 12回收期剩余生产投资 ÷ 月度净收益≤12 个月13 至 24 个月>24 个月或无正收益 不要因为表格里有某个数字就直接照抄。20% 的人工升级率对高风险审批流程可能合理，对一级客服自动化却可能意味着商业模型失败。应先写清错误的业务后果，再确定阈值。 如何计算这 12 项 AI 试点 KPI？ 1. 基线任务成本 对现有流程抽取有代表性的样本，计入完全人工成本、可归属的软件费用、审核、返工和预期错误损失。Microsoft 的智能体价值指标同样要求在构建前记录生产时间、系统成本与返工。 基线任务成本 = 中位人工分钟 × 完全成本时薪 ÷ 60 + 单任务系统成本 + 返工成本 + 预期错误损失。 2. 每次成功动作成本 模型回答不是业务结果。成功可以是正确入账的发票、没有再次打开的工单，或被销售接受的线索。失败尝试产生的费用仍留在分子中。 每次成功动作成本 =（模型 + 检索 + 工具 + 平台 + 重试 + 人工纠正 + 事故）÷ 成功动作。 3. 全自动完成率 Microsoft 称其为 touchless rate，即无需人工干预而端到端完成的比例。被纠正、批准或救回的运行不算全自动。 全自动完成率 = 零人工干预的成功动作 ÷ 合格尝试 × 100。 4. 人工纠正时间 以所有合格尝试为分母，包括纠正时间为零的案例。若每个动作都必须审核，另行记录审核时间。 每次尝试的人工纠正时间 = 纠正总分钟 ÷ 全部合格尝试。 5. 工具调用失败率 统计超时、认证、权限、schema、限流及 4xx/5xx 错误，并按工具拆分。Microsoft Foundry 会分别评估工具选择、输入、输出利用和技术成功。 工具调用失败率 = 技术失败调用 ÷ 全部工具调用 × 100。 6. 误报成本 准确率默认每种错误代价相同，业务现实并非如此。Google 的分类指标指南建议按照误报和漏报的实际成本选择指标。 每次尝试的误报成本 = 调查、撤销、补救、客户与合规损失总和 ÷ 合格尝试。 7. P50 与 P95 延迟 P50 代表典型体验；P95 暴露重试、大上下文和慢工具形成的长尾。应从业务事件进入到可用结果完成计时。OpenTelemetry 可记录模型耗时、token 以及智能体和工具 span。 8. 升级率 升级指因置信度、权限、数据或能力不足而有意交给人工，不应与崩溃或静默失败混在一起。 升级率 = 有意交给人工的动作 ÷ 合格尝试 × 100。 9. 用户采用率 邀请、开户和一次登录不等于采用。Microsoft 以滚动四周内至少四个活跃日作为日常采用示例，也可以按照任务频率预先设定标准。 日常采用率 = 达到预定重复使用标准的合格用户 ÷ 被邀请的合格用户 × 100。 10. 可审计性 独立审核者应能重建输入、模型和 prompt 版本、工具序列、人工或策略介入及最终业务结果。对于高风险系统，欧盟《人工智能法案》要求日志能力与适当的人工监督。 可审计率 = 具有完整 trace 且连接业务结果的抽样运行 ÷ 全部抽样运行 × 100。 11. 数据准备失败率 把字段缺失、过期记录、重复、文档质量、无法访问的来源和错误权限与模型错误分开。AWS 将严肃的生成式 AI PoC 定义为对商业价值、数据准备、技术可行性和风险控制的验证。 12. 回收期 剩余投资应包括集成、安全、数据、培训、监控和变更管理。月度净收益必须扣除 AI 运营、剩余人工和预期失败损失。 月度净收益 = 避免的基线成本 − AI 运营成本 − 剩余人工成本 − 预期失败损失。 回收期（月）= 剩余生产投资 ÷ 月度净收益。 如果净收益为零或负数，回收期不是很长，而是不存在。 终止或扩展的评分如何工作？ 绿色 2 分，黄色 1 分，红色 0 分，满分 24 分。 决定分数动作 扩展20 至 24扩大一个受控用户组或流量档位，继续监控并保留回滚。 迭代一次14 至 19针对明确的黄项或红项做一次限时修复，然后重新评分。 终止或暂停0 至 13停止上线支出。经济性或流程不匹配就终止；证据无效就暂停。 三项硬门槛优先于总分：不可接受的伤害或误报事件；高影响动作缺少审计 trace；没有可信基线或成功定义。 完整示例：发票处理 AI 试点 一家奥地利运营团队让智能体在 30 个运行日中处理 1,000 张发票。成功表示字段正确且进入正确队列；全自动还要求没有纠正或升级。 指标计算结果 基线成本12 分钟 × €42 ÷ 60 + €1.10€9.50，绿 每次成功成本€1,768 ÷ 900€1.96，绿 全自动完成720 ÷ 1,00072%，黄 纠正时间440 分钟 ÷ 1,0000.44 分钟，绿 工具失败108 ÷ 3,6003%，黄 误报成本€660 ÷ €9,5006.9%，黄 延迟P50 18 秒；P95 84 秒；SLO 60 秒黄 升级190 ÷ 1,00019%，黄 采用14 ÷ 1877.8%，绿 可审计性高影响 100%；总体 96%绿 数据失败80 ÷ 1,0008%，黄 回收期€48,000 ÷ €9,2785.2 个月，绿 总分 18/24：限时迭代一次，再重新评分。经济性、采用率和可审计性支持下一步，但广泛上线前应修复主要连接器、供应商主数据和超过 60 秒的 P95 重试路径。 第 30 天决策会议需要什么？ 统一定义合格尝试、成功、全自动、升级、误报和数据失败。展示基线、样本、排除项和工作量。展示 12 行评分卡，包括目标、实际值、颜色、负责人和证据。审查最慢、纠正最多和最昂贵的 trace。列出事故、隐私、越权和缺失 trace。形成有负责人和下次日期的书面决定。 \"试点成功不是因为模型看起来聪明，而是因为有代表性的流程真的更便宜或更好，用户愿意持续使用，失败没有突破风险预算，而且不参与构建的团队也能重建发生了什么。\" 这张评分卡在 AI 试点工具箱中的位置 用本文做第 30 天投资决定；用30/60/90 天计划安排权限、影子模式、有限生产和移交；用每次动作成本模型分析 token、工具、重试、缓存和路由。 来源与方法 这是 Wavect 的原创决策框架。公式可复算；阈值是低风险内部流程的建议，不是通用平均值。资料于 2026 年 7 月 16 日核对，来源包括 NIST、Microsoft、Google Cloud、OpenTelemetry、AWS 和欧盟《人工智能法案》。 常见问题 如何判断 AI 试点是否成功？ 把 30 天代表性使用与已测量基线比较，检查经济性、成功结果、全自动率、人工纠正、工具可靠性、误报成本、延迟、升级、采用率、可审计性、数据准备和回收期。不可接受的伤害、缺失的高影响 trace 或无效基线应直接阻止扩展。 AI 智能体试点最重要的 KPI 是什么？ 先看每次成功动作成本和全自动完成率，再加入人工纠正时间、工具调用失败、误报成本、P50/P95、升级率、日常采用、可审计性、数据准备失败和回收期。 30 天足够评估 AI PoC 吗？ 如果包含有代表性的用户、案例类型和工作量，足够做第一次决定。若存在季节性、罕见安全事件，或大部分时间被数据访问阻塞，则需要针对明确证据缺口延长。 什么时候应该终止 AI 试点？ 当月度净收益不为正、用户需求持续疲弱、失败超过风险预算，或一次限时迭代仍无法改善指定红项时应终止。若缺少基线、权限或代表性数据，应暂停而不是假装结论有效。 如何计算 AI 试点回收期？ 从每月避免的基线成本中扣除 AI 运营、剩余人工和预期失败损失，再用剩余生产投资除以月度净收益。若净收益为零或负数，就不存在回收期。 最终思考 第 30 天评审不应以演示或争论结束，而应以有负责人签字的决定结束。只有当商业价值、采用率和可审计性同时成立时才扩展；对可修复问题只做一次限时迭代；经济性或流程不匹配就终止；数据不足导致评分不诚实时就暂停。 你可能也喜欢.. 30/60/90 天 AI 智能体试点 一个边界清晰工作流的上线计划：降低风险、影子模式、有限生", "articleSection": "工程", "author": { "@id": "https://wavect.io/team/kevin-riedl/#person", "@type": "Person", "name": "Kevin Riedl", "sameAs": [ "https://www.wikidata.org/wiki/Q139796365", "https://www.linkedin.com/in/wsdt", "https://github.com/wsdt" ], "url": "https://wavect.io/team/kevin-riedl/" }, "dateModified": "2026-07-16", "datePublished": "2026-07-16", "description": "AI 试点运行 30 个有代表性的工作日后，应检查 12 项指标：基线任务成本、每次成功动作成本、 全自动完成率、人工纠正时间、工具调用失败率、误报成本、P50/P95 延迟、升级率、用户采用率、 可审计性、数据准备失败率和回收期。绿色 2 分、黄色 1 分、红色 0 分：20-24 分可受控扩展， 14-19 分只做一次限时迭代，0-13 分应终止或暂停。不可接受的伤害、缺失的高影响 trace 或 无效基线优先于总分。", "headline": "AI 试点终止或扩展评分卡：运行 30 天后检查的 12 项指标", "image": "https://wavect.io/img/blog/headers/header_ai-pilot-kill-or-scale-scorecard.svg", "inLanguage": "zh", "mainEntityOfPage": { "@id": "https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/", "@type": "WebPage" }, "publisher": { "@id": "https://wavect.io/#organization", "@type": [ "Organization", "ProfessionalService", "LocalBusiness" ] }, "url": "https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/", "wordCount": 570 } ``` ```json { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "item": "https://wavect.io/zh/", "name": "首页", "position": 1 }, { "@type": "ListItem", "item": "https://wavect.io/zh/blog/overview/", "name": "博客概览", "position": 2 }, { "@type": "ListItem", "item": "https://wavect.io/zh/blog/topics/ai-agents/", "name": "AI 与智能体", "position": 3 }, { "@type": "ListItem", "item": "https://wavect.io/zh/blog/clusters/agent-engineering/", "name": "智能体工程", "position": 4 }, { "@type": "ListItem", "item": "https://wavect.io/zh/blog/ai-pilot-kill-or-scale-scorecard/", "name": "AI 试点成功标准：12 项 KPI 评分卡 | ", "position": 5 } ] } ``` ```json { "@context": "https://schema.org", "@type": "FAQPage", "mainEntity": [ { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "把 30 天代表性使用与已测量基线比较，检查经济性、成功结果、全自动率、人工纠正、工具可靠性、误报成本、延迟、升级、采用率、可审计性、数据准备和回收期。不可接受的伤害、缺失的高影响 trace 或无效基线应直接阻止扩展。" }, "name": "如何判断 AI 试点是否成功？" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "先看每次成功动作成本和全自动完成率，再加入人工纠正时间、工具调用失败、误报成本、P50/P95、升级率、日常采用、可审计性、数据准备失败和回收期。" }, "name": "AI 智能体试点最重要的 KPI 是什么？" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "如果包含有代表性的用户、案例类型和工作量，足够做第一次决定。若存在季节性、罕见安全事件，或大部分时间被数据访问阻塞，则需要针对明确证据缺口延长。" }, "name": "30 天足够评估 AI PoC 吗？" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "当月度净收益不为正、用户需求持续疲弱、失败超过风险预算，或一次限时迭代仍无法改善指定红项时应终止。若缺少基线、权限或代表性数据，应暂停而不是假装结论有效。" }, "name": "什么时候应该终止 AI 试点？" }, { "@type": "Question", "acceptedAnswer": { "@type": "Answer", "text": "从每月避免的基线成本中扣除 AI 运营、剩余人工和预期失败损失，再用剩余生产投资除以月度净收益。若净收益为零或负数，就不存在回收期。" }, "name": "如何计算 AI 试点回收期？" } ] } ```