AI 智能体 Harness 图解：LLM 周围的可靠性层
LLM 生成文本和工具调用。AI 智能体 Harness 则把这些提议变成一个有边界、可观察、可测试的过程。它组装模型上下文，提供获准工具，检查权限，执行操作，返回证据，验证结果，并决定本次运行能否结束。
这个区别可以避免昂贵的误诊。若智能体用了过期数据、调用权限过大的工具，或未测试就宣布成功，更强的模型仍可能重复同一个错误。缺陷位于模型周围的系统。
本文负责 AI 智能体 Harness 的厂商中立架构与自研或采购意图。我们的 AI 智能体定义解释更广的类别，上下文工程文章深入讨论检索。jcode、DeepSeek、TrueForge 与 QM 页面仍专注具体产品评测。
什么是 AI 智能体 Harness？
它是通过 LLM 把用户目标连接到已验收结果的运行与控制层。它负责上下文组装、模型调用、工具契约、策略决策、执行、状态、验证、恢复和遥测。Anthropic 的高效智能体架构指南同样把检索、工具和记忆视为模型周围的增强层，并建议只有在可测结果提升时才增加复杂度。
| 层 | 决定什么 | 应产生的证据 |
|---|---|---|
| 0. 用户目标 | 范围、成功标准与风险 | 任务契约与审批负责人 |
| 1. 上下文构建器 | 哪些指令、数据、历史与工具定义进入模型 | 来源 ID、版本与检索追踪 |
| 2. LLM | 下一步提议哪个回答或操作 | 模型版本、请求与拟调用项 |
| 3. 策略门 | 允许、阻止或请求人工审批 | 规则、参与者、决定与原因 |
| 4. 工具与运行时 | 获准工作如何在资源限制内执行 | 输入、输出、副作用、耗时与错误 |
| 5. 验证 | 结果是否满足验收与安全检查 | 断言、评分、失败项与修复请求 |
| 6. 已验收结果 | 哪些内容可返回、保存或发布 | 最终产物、来源与状态 |
两类能力贯穿每一层。约束设置权限、预算、超时、数据边界与停止规则。可观测性记录追踪、延迟、成本、错误与结果。它们必须管理整个循环，而不是只在最后出现。
Harness 循环如何工作？
- 把意图写成任务契约。明确交付物、允许访问的系统、禁止操作、预算、期限与验收测试。
- 编译最小但足够的上下文。选择最新指令、权威记录，以及当前步骤真正需要的工具定义。Anthropic 的智能体上下文工程指南把上下文视为有限资源，需要在整个运行过程中持续筛选。
- 让模型提议，而不是授权。LLM 选择回答或结构化工具调用，但不能自行赋予访问权。
- 评估拟执行操作。确定性规则检查身份、范围、参数、数据级别、频率、花费与可逆性，重大例外由人审批。OpenAI Agents SDK 的护栏文档区分输入、输出与工具检查。这说明一个提示词过滤器并不是完整策略层。
- 在受控运行时执行。工具获得类型化输入、最小权限凭据、网络与文件边界、超时、重试和幂等控制。工具结果是待验证证据，不是新指令。
- 返回前验证。优先使用确定性断言、单元测试、Schema 校验与对账。只有规则无法表达质量时，才使用模型评分。
- 记录并改进。OpenAI Agents SDK 的追踪模型记录模型生成、工具调用、交接与护栏。生产系统还必须脱敏，并把审计证据保存在智能体无法改写的位置。
AI 智能体最常在哪一层失败？
没有可信的通用百分比能断言大多数故障来自上下文、工具、约束或验证。故障率取决于工作流、模型、工具面和成功定义。更实用的方法，是在追踪中定位第一个被破坏的契约。
| 故障层 | 常见症状 | 第一项诊断 | 可能的修复 |
|---|---|---|---|
| 上下文 | 基于过期、无关或缺失证据给出自信回答 | 重放完整上下文与来源版本 | 改进检索、新鲜度、压缩或任务指令 |
| 工具 | 选错函数、参数错误、超时或重复副作用 | 检查 Schema、参数、响应与重试路径 | 缩窄接口、验证输入、让写入幂等 |
| 约束 | 智能体访问了范围外的数据或操作 | 检查实际身份、权限与审批决定 | 最小权限、确定性策略与人工权力 |
| 验证 | 看似合理的输出被标记完成，但真实任务失败 | 用独立验收检查最终产物 | 环境测试、评分器、阈值与修复循环 |
验证常是缺失的最后一公里，因为流畅回答看起来已经完成。Anthropic 的智能体评测指南建议评估多轮追踪与环境状态，而不是只看最终回答。安全故障会跨越多个层。OWASP AI Agent Security Cheat Sheet建议把外部内容视为不可信输入，限制权限，验证工具调用，并对高影响操作要求人工审批。
Harness、智能体框架、工作流引擎与模型 API
| 类别 | 主要工作 | 不能证明什么 |
|---|---|---|
| 模型 API | 生成文本、推理项与工具调用 | 授权、持久状态、恢复或业务正确性 |
| 智能体框架 | 提供智能体、工具、交接与记忆抽象 | 部署控制与运维已完整 |
| 工作流引擎 | 运行预定义步骤、重试与计划 | 模型选择的操作安全或语义质量 |
| 智能体 Harness | 把模型、上下文、工具、策略、运行时、验证与遥测组成受控循环 | 没有任务测试和运维责任也能可靠 |
应该自研、扩展还是购买？
| 选择 | 适合情况 | 主要成本 |
|---|---|---|
| 自研轻量循环 | 单个狭窄工作流，有特殊控制和强平台团队 | 所有集成、回归与事故路径 |
| 扩展开源框架或 Harness | 需要速度与代码控制，并有能力运维 | 升级、企业控制缺口与扩展维护 |
| 托管智能体平台 | 标准能力、快速试点与有限平台人力 | 厂商边界、数据条款、价格与可迁移性 |
不要按功能数量选择。让每个方案运行同一套验收任务，比较已验收结果、P50 与 P95 延迟、审核分钟数、已阻止的不安全操作、恢复成功率和每个已验收任务的成本。我们的 30/60/90 天 AI 智能体试点计划给出上线顺序，智能体评测沙箱安全清单深入说明隔离。
生产级 AI 支持
正在构建 AI 产品，却担心推理成本、架构或生产可用性？Wavect 帮助创始人把 AI 原型变成可靠的生产系统。
查看相关服务：
生产验收清单
- 任务契约：一个明确结果、负责人、期限、预算与禁止操作清单。
- 上下文：权威来源、新鲜度规则、来源 ID、租户隔离与压缩测试。
- 工具：类型化 Schema、最小权限凭据、校验、超时、重试与幂等。
- 策略：对高影响操作使用确定性检查、明确审批且不能静默绕过。
- 运行时：网络、文件、软件包、密钥和资源边界，并支持取消与恢复。
- 验证：代表性任务、多次试验、独立评分与真实环境检查。
- 可观测性：关联追踪、脱敏、成本、延迟、错误、策略事件与验收结果。
- 运维：锁定版本、升级前评测门、回滚、事故责任与数据保留。
Wavect 的 AI Enablement 服务可以把一个工作流转化为 Harness 架构、验收集、权限模型与生产交接。若团队正在比较框架或修复脆弱 Demo，预约智能体架构评审。
常见问题
用一句话解释 AI 智能体 Harness？
Harness 和智能体框架相同吗？
更强模型能替代 Harness 吗？
Harness 应记录什么？
团队应该从哪里开始？
最终思考
LLM 是推理组件，不是可靠性系统。智能体 Harness 决定什么进入模型，哪些拟执行操作可以运行，工具如何执行，哪些证据证明完成，以及发生故障后运维人员能重建什么。
先从故障图和验收清单开始，而不是先列框架候选。能够证明一个业务结果的简单 Harness，比无法解释成功或失败原因的功能堆栈更有价值。