User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /AR103 严重GPTBot 对应训练偏好。通配符限制没有专属匹配分组且遵守规则的爬虫,不能证明每个助手能引用什么。
检查器分析一个粘贴文件中的爬虫策略、内容与身份问题,或所选可选格式。它不访问链接,也不证明真实访问、索引或引用。Markdown、llms.txt 和 JSON-LD 是可选集成,并非 Google AI 搜索的要求。
检查你真正对外输出的那个文件
请粘贴完整文件,不要只贴片段。用 curl 取一次 URL 并粘贴响应体,这样你检查的是抓取器实际收到的内容,而不是 CMS 给你看的内容。
快捷键:Ctrl 或 Command + Enter。最大输入:400,000 字符。
粘贴一个完整文件,即可看到评分、未通过的规则,以及每条对应的证据行。
评分仅覆盖此输入中的选定检查。可选格式建议与有意的训练限制不扣分。真实访问、索引和引用仍未知。
三个动作
检查公开响应内容,找出与 CMS 预览之间的差异。
用 curl 请求你的 robots.txt、llms.txt、Markdown 镜像或页面 URL,复制响应体。CMS 里的预览是你的 CMS 渲染出来的,并不会这样输出给爬虫。
检查器会判断你粘贴的是四种文件类型中的哪一种,只运行适用的规则,并打印触发每条发现的那一行。
导出报告并检查证据。修改前先确认范围与策略是否有意设置。
读证据,别读一个神奇分数
真正有意思的,是那些看起来很谨慎、其实并不谨慎的文件。
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /AR103 严重GPTBot 对应训练偏好。通配符限制没有专属匹配分组且遵守规则的爬虫,不能证明每个助手能引用什么。
User-agent: CCBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlAR104 低,评分 100同样的写法,但没有通配符。退出训练是授权层面的决定,所以只做提示,不拉低等级。
- [Fractional CTO](/services/fractional-cto-austria/): 领导力AR204 · 移植建议保留来源 URL 时,相对链接可正常解析。丢失来源时,绝对 URL 更便于移植。此建议不扣分。
我们凭什么这么说
选定的镜像规则移植自生产校验器。浏览器工具不会运行整站构建,也不会与部署来源比较文件。
选定的镜像检查移植自本站仓库的 scripts/verify_machine_markdown.mjs。构建还验证镜像与渲染页面的一致性;浏览器工具检查你粘贴的文件。
训练、搜索和用户发起的访问使用不同控制。GPTBot 与 ClaudeBot 是训练爬虫,搜索限制单独检查。
每条发现都会打印触发它的那一行和修复方式。一个你无法核查的数字是销售工具,不是诊断工具。
检查器从不请求 URL。你的 staging 主机和内部路径不会进入任何日志,包括我们的日志。
诚实的局限