AI 安全
为 AI 的数据访问、工具调用和实际操作设定安全边界。
你的 AI 应用可能读取私有信息,并通过连接的工具执行操作。我们评估约定的数据与操作边界,测试真实可行的滥用场景,并在委托范围内实施优先控制。
服务概要
AI 安全评估关注 LLM 周围的系统:身份、检索、记忆、连接的工具及操作。通过问题记录、约定修复和复测,明确已验证的边界与剩余限制。
适合这些情况
- 已有 AI 功能能够访问私有数据、使用工具或执行写操作
- 需要有限范围安全评估和可落实修复的团队
其他服务可能更合适
- 开发全新 AI 产品,或规划组织层面的 AI 采用
- 由 AI 生成代码、但本身不含 AI 功能的普通 Web 应用
检查应用能够访问和改变什么
梳理用户、服务身份、模型供应商、检索来源、记忆和工具,明确哪些操作必须获得授权。本服务面向使用 AI 的产品。如果当前问题是 AI 生成的代码基础不稳定,可先选择 Vibe Coding Rescue;如果产品尚待开发,可选择 AI 智能体与产品开发。投资或收购前的整体审查只会在其他发现之外标注 AI 风险,属于技术尽职调查;针对约定边界的对抗性测试仍由本服务负责。
验证模型周围的实际控制
根据应用真实拥有的权限选择测试案例。回答令人信服、演示成功,并不能证明数据访问或工具执行已经正确授权。
数据与租户边界
检查每种身份可以检索、读取和保留哪些来源。按实际情况覆盖撤销权限、受限记录和共享记忆。
工具与审批
限定工具权限,在执行系统中验证敏感操作。检查批准是否与执行者、目标和确切操作绑定。
不可信内容
测试约定的提示词注入、检索或工具输出滥用场景,追踪它们对数据和操作的影响。
隔离与证据
检查相关执行限制、凭据范围、沙箱和审计记录。必要时通过云安全服务明确运行基础设施的检查范围。
示例验收:一个租户不能获取另一个租户的记录
使用合成数据,让租户 A 的用户请求智能体获取租户 B 的记录。即使模型生成了工具调用,数据访问层也应拒绝请求。租户 A 内部的合法请求仍正常完成。记录构建版本、策略、检索配置、预期结果、观察行为和日志。这是示例测试,不是客户成果,也不代表所有工具均已得到覆盖。
把已确认的问题变成经过验证的改进
评估与修复分别委托。开始前确认覆盖范围、允许的操作和复测内容。
评估
获得系统图、约定滥用案例、可复现的问题、检查缺口和优先修复计划。修复与复测
委托选定的代码或配置变更,在记录的系统版本上复测受影响行为及约定回归用例。持续复核
约定工具、检索、策略、记忆、提示词或供应商的哪些变更需要再次审查,并单独明确频率与责任。
准备受控测试环境和决策负责人
提供预期任务、工具列表、身份模型、数据类别、已知问题和适当测试环境。约定测试账户、允许的操作、负载与费用上限,以及停止条件。授权应由执行系统落实;提示词与过滤器是补充控制。OWASP 智能体安全指南说明了这些边界及可重复的滥用测试。
让结果服务于实际运营产品的人
// 实证
明确展示范围的 AI 工程经验
Twinsoft AI 案例记录了面向试点产品的 LLM 集成、代码重构和基础设施工作。它证明该交付范围,不被描述为已完成的 AI 红队安全评估。
这些是精选项目,并非我们的全部作品。自 2018 年以来我们已交付 100+ 款产品。
开始前的常见问题
重点是包含 LLM、智能体或 AI 连接工具的应用。普通的 AI 生成应用可能更适合原型修复、功能 QA,或另行界定范围的应用安全评估。
数据访问和敏感操作需要由数据或执行系统控制。提示词规则、过滤器和模型评估可以提供帮助,但不能替代授权。
我们会明确实际来源、身份、工具和权限。使用某个协议或检索框架本身,并不能证明集成已落实所需的访问边界。
通用 QA 不自动包含全面的 AI 安全评估或渗透测试。需要的额外范围和验收方式会单独约定。
它记录了被测案例与配置下观察到的行为。报告也会列出未测试区域、无法完成的检查和剩余风险。
可以针对选定问题约定实施和复测。你也可以把评估交给内部团队;问题记录与约定交付成果由你保留。