浏览器本地文件诊断

发现已发布文件中的规则与格式问题。

粘贴一个文件,运行确定性检查并查看每条发现的证据。选定的镜像规则移植自我们的生产校验器,不抓取,也不上传。

  • 规则 42 项确定性检查
  • 处理方式 本地离线
  • 输入 robots.txt、llms.txt、Markdown、HTML
  • 结论 只给证据,不承诺排名
可读性
ROBOTS.TXT · 已粘贴 69/100 · 参差不齐
本地分析 · 未发起抓取
直接的答案

检查器分析一个粘贴文件中的爬虫策略、内容与身份问题,或所选可选格式。它不访问链接,也不证明真实访问、索引或引用。Markdown、llms.txt 和 JSON-LD 是可选集成,并非 Google AI 搜索的要求。

检查你真正对外输出的那个文件

智能体可读性工作台

请粘贴完整文件,不要只贴片段。用 curl 取一次 URL 并粘贴响应体,这样你检查的是抓取器实际收到的内容,而不是 CMS 给你看的内容。

任何内容都不会离开此标签页
智能体可读性工作台静态 · 确定性 · 浏览器本地
01

文件内容

等待输入

快捷键:Ctrl 或 Command + Enter。最大输入:400,000 字符。

02

发现

尚未检查

粘贴一个完整文件,即可看到评分、未通过的规则,以及每条对应的证据行。

03

证据与导出

评分仅覆盖此输入中的选定检查。可选格式建议与有意的训练限制不扣分。真实访问、索引和引用仍未知。

分析只留在这个浏览器标签页里从不请求任何 URL不上传,不留存Core v0.2.0

三个动作

检查抓取器收到的东西,而不是 CMS 预览出来的东西。

检查公开响应内容,找出与 CMS 预览之间的差异。

  1. 01

    取到真实文件

    用 curl 请求你的 robots.txt、llms.txt、Markdown 镜像或页面 URL,复制响应体。CMS 里的预览是你的 CMS 渲染出来的,并不会这样输出给爬虫。

  2. 02

    粘贴并在本地检查

    检查器会判断你粘贴的是四种文件类型中的哪一种,只运行适用的规则,并打印触发每条发现的那一行。

  3. 03

    先修严重项

    导出报告并检查证据。修改前先确认范围与策略是否有意设置。

读证据,别读一个神奇分数

三个值得看懂的结果

真正有意思的,是那些看起来很谨慎、其实并不谨慎的文件。

看着像有意为之,实际全屏蔽User-agent: GPTBot Disallow: / User-agent: * Disallow: /AR103 严重

GPTBot 对应训练偏好。通配符限制没有专属匹配分组且遵守规则的爬虫,不能证明每个助手能引用什么。

有意屏蔽训练抓取User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xmlAR104 低,评分 100

同样的写法,但没有通配符。退出训练是授权层面的决定,所以只做提示,不拉低等级。

llms.txt 里用了相对链接- [Fractional CTO](/services/fractional-cto-austria/): 领导力AR204 · 移植建议

保留来源 URL 时,相对链接可正常解析。丢失来源时,绝对 URL 更便于移植。此建议不扣分。

我们凭什么这么说

镜像检查源自我们的生产校验器。

选定的镜像规则移植自生产校验器。浏览器工具不会运行整站构建,也不会与部署来源比较文件。

移植的,不是编的

选定的镜像检查移植自本站仓库的 scripts/verify_machine_markdown.mjs。构建还验证镜像与渲染页面的一致性;浏览器工具检查你粘贴的文件。

检索和训练是两个问题

训练、搜索和用户发起的访问使用不同控制。GPTBot 与 ClaudeBot 是训练爬虫,搜索限制单独检查。

证据优先于评分

每条发现都会打印触发它的那一行和修复方式。一个你无法核查的数字是销售工具,不是诊断工具。

刻意不发起抓取

检查器从不请求 URL。你的 staging 主机和内部路径不会进入任何日志,包括我们的日志。

诚实的局限

静态检查告诉不了你什么

  • 它只读一个粘贴进来的文件。它不爬你的网站,不跟随链接,也不在页面之间做比较。
  • 无问题结果仅描述已执行的检查,不验证真实访问、索引、Google AI 纳入状态、链接或引用。
  • robots.txt 只是一个请求。守规矩的抓取器会遵守,其他的不会,所以一个宽松的文件同样不构成保证。
  • 标记为启发式的发现是从文件形态推断出来的,并未被证明。这些请人工确认。
  • 爬虫名称会变。智能体名单在所示 core 版本下是准确的,随时间需要更新。

关于可读性检查器的问题

这是静态文件诊断,检查粘贴内容中的选定规则与格式。完整 SEO 审计还需要部署响应、索引证据、有用内容和搜索数据。
因为浏览器没有代理就无法抓取别的站点,而搭一个代理就意味着你的 URL、staging 主机和内部路径要经过我们的基础设施。我们发布的每个工具都把输入留在你的标签页里,所以粘贴是这个工具的诚实版本,而不是缩水版本。
GPTBot 与 ClaudeBot 用于训练,OAI-SearchBot 与 Claude-SearchBot 用于搜索。用户发起的访问行为不同。有意训练限制只提示不扣分,粘贴规则不能证明引用结果。
仅在消费者受益时需要。Google AI 搜索不要求 llms.txt。相对链接可结合来源 URL 解析,绝对链接便于移植。发布时应验证内容与目标。
评分是针对所选文件的版本化诊断,按严重程度加权。可选格式建议与训练限制权重为零,不衡量搜索资格、真实访问、排名或引用。
可以,这就是工具背后的服务。检查器本身是刻意做成完整可用的,你可以自己跑、自己看证据,然后把报告交给任何人,包括你现在的团队。

支持与安全

报告一条判错的规则

如果一条规则在输出本来正确的情况下触发,那就是 bug,我们希望知道。请带上触发它的输入开一个 issue。如果你发现的问题涉及安全影响,请改为私下报告。

免费 · 开源 · 任何内容都不会离开你的标签页

先拿你的 robots.txt 跑一遍。

从已发布的文件开始。查看证据,修复相关问题,再单独验证部署行为。