Robots.txt 设置指南：关键语法与典型错误解析
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a5ac2d262c69.html
📄
Robots.txt 是一个存放于网站根目录的文本文件，其作用在于给搜索引擎爬虫提供抓取路径的指引，明确哪些内容可以访问、哪些需要回避。这并非强制性的安全屏障，而是一份供爬虫参考的协议说明，但合理的配置能有效帮助爬虫聚焦于高质量页面，同时降低服务器不必要的负载。
1. Robots.txt 的作用原理与实用价值
爬虫在访问网站时，会优先检查根目录下的 robots.txt 文件。若文件存在且爬虫遵照协议执行，便会依据其中的规则来确定抓取范围；如果找不到该文件，爬虫通常会默认整个站点的公开内容均可被抓取。
对于站点运营者而言，这一文件主要用于以下目的：隐藏后台登录页面、阻止如搜索结果页或标签归档页等低价值页面的索引、通过限制抓取速率来节省带宽资源。这里需要特别强调的是，守规矩的搜索引擎会尊重该文件，但并非所有访问者都会遵守，恶意程序完全可以忽略它，因此该文件绝不能作为安全控制的手段。
2. Robots.txt 核心语法结构解析
该文件由多条规则记录构成，每条记录以 User-agent 指令开始，随后定义相关的规则。要正确配置，关键在于掌握以下几个核心指令：
- User-agent：用于指定规则所针对的爬虫名称，使用 * 通配符则表示适用于所有搜索引擎的爬虫。
- Disallow：声明禁止访问的路径。例如 Disallow: /admin/ 表示爬虫不可访问 admin 目录下的任何资源。
- Allow：声明可访问的路径。在同一规则组中，其优先级高于 Disallow，常用于在屏蔽整个目录时，单独放行某个特定文件。
- Sitemap：声明 XML 站点地图的完整地址，有助于爬虫快速定位并抓取核心页面。
- Crawl-delay：建议爬虫在两次请求间的等待时长。需要留意，部分搜索引擎已经不再支持这一指令。
2.1 套基础的配置示例
以下是一个结构清晰且合理的配置写法：
User-agent: *
Disallow: /tmp/
Disallow: /private/
Allow: /private/special.html
Sitemap: https://www.example.com/sitemap.xml
该配置传达的信息是：所有爬虫被禁止抓取 tmp 目录及 private 目录，但 private 目录下的 special.html 文件是例外，允许访问；同时还向爬虫指明了站点地图的位置。
3. 常见应用场景与规避误区
配置过程看似直接，但因细节疏忽导致预期落空的情况并不少见。以下场景值得多加关注：
- 完全放行所有爬虫：若无需限制访问，可将 Disallow 指令留空，或者直接省略该字段。
- 临时关停全站收录：若需在一段时间内禁止所有内容被收录，可配置 Disallow: /。但必须清楚，这会让所有搜索引擎停止抓取任何页面，进而导致新内容失去曝光机会。
- 限制特定爬虫访问：若有针对性地屏蔽某个不友好的爬虫，只需在 User-agent 后写明该爬虫的规范化名称，并为其单独设置规则。
- 路径匹配不当：Disallow 的路径匹配是前缀式的，例如屏蔽 /help 会同时影响 /help.html 和 /help/。如需精确屏蔽，务必带上结尾的斜杠或完整的文件名。
- 忽略大小写敏感性：路径匹配是区分大小写的，Disallow: /Admin 与 Disallow: /admin 是两个完全不同的规则，配置时需与服务器上的实际路径严格一致。
4. 编写与维护的关键注意点
为了让 robots.txt 发挥其应有的作用，在编写和更新过程中需要遵循以下原则：
- 文件必须命名为 robots.txt，并放置在域名的根目录下，否则无法被正常读取。
- 每行只能包含一条完整指令，且 User-agent 与 Disallow/Allow 之间需保持正确的对应关系。
- 使用井号 # 添加注释可以提高文件的可读性，便于日后维护。
- 更新文件后，建议通过搜索引擎的抓取诊断工具进行验证，以确认规则生效且未出现误伤。
- 不要在文件中使用不带路径的 Disallow:，这会错误地禁止所有访问。
5. 常见问题
5.1 robots.txt 中的 Allow 指令真的比 Disallow 优先吗？
对于同一爬虫的规则组，Google 等主流搜索引擎会遵循 Allow 优先的原则。这意味着当 Disallow 与 Allow 出现冲突时，更具体的匹配规则会生效。这一特性常被用于实现"屏蔽整个目录，但放行其中特定文件"的需求。
5.2 如何验证 robots.txt 是否配置正确？
可以通过搜索引擎官方提供的站长工具进行验证，例如 Google Search Console 中的 robots.txt 测试器。它会显示该文件能否被正常抓取，以及特定的页面 URL 是否被禁止访问，是排查配置问题的有效途径。
5.3 如果删除了 robots.txt 文件，网站的收录会受影响吗？
删除文件本身不会产生负面影响，爬虫会默认允许抓取所有公开页面。但如果之前依赖该文件屏蔽了部分低质量或敏感目录，删除后这些内容可能会被重新抓取。因此，删除前应评估是否有其他方式控制这些页面的索引，例如使用 noindex 标签。
6. 结语
Robots.txt 管理得当，能显著提升抓取效率；配置失误，则可能阻碍正常收录。建议定期检查文件内容，确保路径与站点结构同步，并善用站长工具验证效果。同时务必牢记，它仅是建议性声明，站点关键信息的保护仍需依赖权限控制等安全机制。配置后建议观察一段时间的抓取日志，根据实际表现及时调整策略。
