AI 安全

为 AI 的数据访问、工具调用和实际操作设定安全边界。

你的 AI 应用可能读取私有信息,并通过连接的工具执行操作。我们评估约定的数据与操作边界,测试真实可行的滥用场景,并在委托范围内实施优先控制。

服务概要

AI 安全评估关注 LLM 周围的系统:身份、检索、记忆、连接的工具及操作。通过问题记录、约定修复和复测,明确已验证的边界与剩余限制。

适合这些情况

  • 已有 AI 功能能够访问私有数据、使用工具或执行写操作
  • 需要有限范围安全评估和可落实修复的团队

其他服务可能更合适

  • 开发全新 AI 产品,或规划组织层面的 AI 采用
  • 由 AI 生成代码、但本身不含 AI 功能的普通 Web 应用

检查应用能够访问和改变什么

梳理用户、服务身份、模型供应商、检索来源、记忆和工具,明确哪些操作必须获得授权。本服务面向使用 AI 的产品。如果当前问题是 AI 生成的代码基础不稳定,可先选择 Vibe Coding Rescue;如果产品尚待开发,可选择 AI 智能体与产品开发。投资或收购前的整体审查只会在其他发现之外标注 AI 风险,属于技术尽职调查;针对约定边界的对抗性测试仍由本服务负责。

验证模型周围的实际控制

根据应用真实拥有的权限选择测试案例。回答令人信服、演示成功,并不能证明数据访问或工具执行已经正确授权。

数据与租户边界

检查每种身份可以检索、读取和保留哪些来源。按实际情况覆盖撤销权限、受限记录和共享记忆。

工具与审批

限定工具权限,在执行系统中验证敏感操作。检查批准是否与执行者、目标和确切操作绑定。

不可信内容

测试约定的提示词注入、检索或工具输出滥用场景,追踪它们对数据和操作的影响。

隔离与证据

检查相关执行限制、凭据范围、沙箱和审计记录。必要时通过云安全服务明确运行基础设施的检查范围。

示例验收:一个租户不能获取另一个租户的记录

使用合成数据,让租户 A 的用户请求智能体获取租户 B 的记录。即使模型生成了工具调用,数据访问层也应拒绝请求。租户 A 内部的合法请求仍正常完成。记录构建版本、策略、检索配置、预期结果、观察行为和日志。这是示例测试,不是客户成果,也不代表所有工具均已得到覆盖。

把已确认的问题变成经过验证的改进

评估与修复分别委托。开始前确认覆盖范围、允许的操作和复测内容。
  1. 评估

    获得系统图、约定滥用案例、可复现的问题、检查缺口和优先修复计划。
  2. 修复与复测

    委托选定的代码或配置变更,在记录的系统版本上复测受影响行为及约定回归用例。
  3. 持续复核

    约定工具、检索、策略、记忆、提示词或供应商的哪些变更需要再次审查,并单独明确频率与责任。

准备受控测试环境和决策负责人

提供预期任务、工具列表、身份模型、数据类别、已知问题和适当测试环境。约定测试账户、允许的操作、负载与费用上限,以及停止条件。授权应由执行系统落实;提示词与过滤器是补充控制。OWASP 智能体安全指南说明了这些边界及可重复的滥用测试。

让结果服务于实际运营产品的人

你会获得约定的问题记录、变更、测试记录和剩余限制。回答质量评估与访问、操作控制应分别判断。DevSecOps负责变更发布,云安全负责运行基础设施。专家是否参与按项目约定。信任中心说明数据处理和服务水平。本服务不暗含全天候支持、正式认证或阻止所有攻击的承诺。
// 实证

明确展示范围的 AI 工程经验

Twinsoft AI 案例记录了面向试点产品的 LLM 集成、代码重构和基础设施工作。它证明该交付范围,不被描述为已完成的 AI 红队安全评估。

这些是精选项目,并非我们的全部作品。自 2018 年以来我们已交付 100+ 款产品。

开始前的常见问题

重点是包含 LLM、智能体或 AI 连接工具的应用。普通的 AI 生成应用可能更适合原型修复、功能 QA,或另行界定范围的应用安全评估。
数据访问和敏感操作需要由数据或执行系统控制。提示词规则、过滤器和模型评估可以提供帮助,但不能替代授权。
我们会明确实际来源、身份、工具和权限。使用某个协议或检索框架本身,并不能证明集成已落实所需的访问边界。
通用 QA 不自动包含全面的 AI 安全评估或渗透测试。需要的额外范围和验收方式会单独约定。
它记录了被测案例与配置下观察到的行为。报告也会列出未测试区域、无法完成的检查和剩余风险。
可以针对选定问题约定实施和复测。你也可以把评估交给内部团队;问题记录与约定交付成果由你保留。

讨论 AI 安全评估范围

请说明 AI 读取哪些信息、能调用哪些工具,以及哪些操作需要控制。只需不含私有提示词、文档或访问密钥的概述。