robots.txt 写法指南：基础指令与高频错误回避要点
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a289da221802.html
📄
robots.txt 是网站与搜索引擎爬虫之间的沟通协议，用于告知爬虫哪些路径可以访问、哪些需要避开。配置合理的 robots.txt 既能保护后台、会员中心等敏感目录不被收录，也能引导爬虫将有限的抓取配额集中到核心内容上。然而，写法不严谨可能导致页面收录异常，甚至全站抓取受阻。以下内容将系统拆解该文件的规范写法与高频误区。
1. 文件放置位置与基础语法构成
该文件必须命名为小写形式的 robots.txt，并存放于域名根目录。文件内容由多条记录组成，记录之间需用空行分隔。一条记录内部包含若干指令行，每一行的基本语法为“字段名：值”，例如 Disallow: /private/。字段名对大小写不敏感，但路径值通常区分大小写。以 # 开头的文字为注释，既可独立成行，也可附加在指令行末尾，用于说明规则意图。
逻辑结构上，先通过 User-agent 指明规则适用的爬虫对象，随后附上 Disallow（禁止）或 Allow（允许）规则。紧跟在同一个 User-agent 声明之后的可以是一组指令，其中允许多行 Disallow 与 Allow 共存。各大主流搜索引擎支持用 Allow 覆盖更具体的 Disallow 规则，但不同爬虫对最长匹配与优先级的具体解析存在细微差别，在面向多搜索引擎配置时需进行兼容性验证。
2. 常用指令的实战写法与判别标准
2.1 基础运算符：User-agent 与 Disallow 组合
最普遍的诉求是禁止全部爬虫访问整站，此时写法为：
User-agent: *
Disallow: /
如需仅隔离特定路径，比如后台与临时上传目录，配置如下：
User-agent: *
Disallow: /admin/
Disallow: /tmp/
此处务必留意目录尾部斜杠的语义。写成 /admin/ 仅精确匹配该目录及其子路径；若省略斜杠写成 /admin，则规则会匹配所有以 admin 开头的字符串，如 /administrator 或 /admin-area，极有可能造成非目标页面的误屏蔽。
2.2 Allow 指令的优先级规则与覆盖场景
当需要整体封锁某一目录，却单独放行其中的特定子栏目时，需要借助 Allow 指令来达成。例如，博客栏目全部禁抓，但允许某个专题页被抓取：
User-agent: *
Disallow: /blog/
Allow: /blog/topic-a/
在这种组合下，匹配遵循通用判定原则：若两条规则路径长度一致，Allow 优先于 Disallow；若路径长度不同，则以匹配更长（更具体）路径的规则为准。基于此原则，上述配置可以保证该专题路径的抓取请求正常放行。
2.3 针对多爬虫的差异化策略与 Sitemap 引用
针对不同搜索引擎的爬虫可设定独立策略。例如，允许 Google 抓取完整站点，对于百度则暂时禁爬：
User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow:
其中 Disallow 字段留空代表不设限制。与此同时，Sitemap 指令必须单独放置，不受任何 User-agent 记录的控制，通常建议将其置于文件末尾，方便爬虫快速定位站点地图地址。
3. 配置完成后需要规避的常见错误
第一个高频错误是滥用通配符与正则表达式。实际上，并非所有引擎都支持 * 与 $ 符号。部分引擎将 * 视为任意字符序列，但也有引擎始终不识别这部分符号，导致规则被忽略。因此，依赖通配符时必须评估目标搜索引擎的兼容能力。
第二个常见误区是误将 robots.txt 当作安全工具。该文件只是约定俗成的协议，并非强制访问控制。对于真正需要保密的数据，应依靠目录权限或登录认证来保护，而不是仅凭 Disallow 规则。
第三个易错点在于规则堆叠混乱，尤其是多个 User-agent 与规则之间的对应关系不清，容易导致规则覆盖失效。建议每一条 User-agent 记录独立编写，且必要时以空行明确分隔，降低维护难度。
此外，许多站点会无意中屏蔽了 CSS 或 JS 资源文件，这会让搜索引擎在渲染页面时遇到障碍，进而影响页面质量评估和排名。屏蔽静态资源前，需要明确其利与弊，并非所有前端文件都应一律封锁。
4. 上线后的验证方法
完成编写并上传后，直接访问 https://域 名/robots.txt 确认文件可达且内容无误。随后，可以使用搜索引擎站长平台提供的 robots 检测工具，输入待测 URL 来检查实际抓取判断结果。检测时重点观察返回的允许或禁止状态是否符合预期。
此外，建议修改完毕后观察一段时间的抓取日志，对比改动前后爬虫对关键页面的抓取频次。通常，行之有效的配置会显著提升重要页面的抓取占比，而错误配置则会出现核心页面抓取次数骤降的情况。
5. 常见问题
5.1 Q1：robots.txt 写错了会影响网站安全吗？
不会。它仅是一种建议性协议，并不具备强制访问控制能力。恶意请求者完全可以无视该文件直接访问内容。对于必须保护的数据，应依赖 HTTP 认证、IP 白名单或服务器权限控制，不能指望 robots.txt 提供安全保障。
5.2 Q2：修改 robots.txt 后，多久能生效？
生效时间并不固定。搜索引擎会定期重新获取该文件，周期通常从数小时到数天不等。想要加速这一过程，可以使用站长平台的抓取更新工具，主动提交文件变更请求，从而缩短等待期。
5.3 Q3：robots.txt 中是否允许出现多个 Sitemap 指令？
可以。在同一文件末尾可以声明多个 Sitemap 指令，每个指令单独占据一行。对于大型站点或拥有多个子站点的情形，这一方式能够帮助搜索引擎更全面地发现有效网址。
6. 结语
合理运用 robots.txt 的核心在于清晰界定规则对象与路径匹配范围，同时避免依赖其特性来实现安全防护。建议从最小化屏蔽策略起步，配置完成后务必使用检测工具进行实测，确认预期效果后再放量观察抓取日志。定期结合站点结构调整来复审规则，是维持抓取效率与收录质量不可忽视的环节。
