切换工具
抓取与访问
robots.txt 检查
按爬虫解析允许与禁止规则，并标出配置冲突。
关于这个检查
01
这个工具检查什么？
我们抓取 /robots.txt,按标准最长匹配规则解析每个 User-agent 组，展示哪些组封锁了根路径、声明了哪些 Sitemap,以及哪些行任何解析器都读不懂。
02
结果该怎么看？
没有 robots.txt 等于"全部允许"——这是合法状态，不是错误。robots.txt 只管抓取许可，不保证被索引或被引用。
03
下一步该做什么？
如果你想放行 AI 爬虫，确认没有任何 User-agent 组意外用 Disallow: / 命中它们。
接着查这个
- 定期复检 + 变化告警
- 跨大陆各家 AI 引擎的可见度与引用分析
- 按影响排序的修复建议，并生成内容