robots txt 是什么？网站抓取规则与配置指南

📍 WDQWDWQD987AAAAA:216.73.216.153
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /64415d97ae05.html
📄

robots txt 是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它属于“爬虫协议”的一部分，虽然不被强制遵守，但主流搜索引擎都会参考它来调整抓取行为。

robots txt 的基本语法

文件由若干记录组成，每条记录以 User-agent 开头，后接 Allow 或 Disallow 规则。常见写法包括：

• User-agent: * 表示规则适用于所有爬虫；
• Disallow: /admin/ 表示禁止抓取 admin 目录；
• Allow: /public/ 用于在整体禁止中开放特定路径；
• Sitemap: 声明站点地图地址，便于爬虫发现内容。

规则按最长匹配优先，Allow 与 Disallow 长度相同时通常以 Allow 为准。配置时应避免误屏蔽 CSS、JS 和图片资源，否则可能影响页面渲染与收录评估。

常见配置误区

不少站点直接写 Disallow: / 来阻止全部抓取，这会让搜索引擎无法获取任何页面，已收录内容也可能逐渐被移除。若只想屏蔽某个目录，应精确指定路径，而不是全站禁止。另外，robots txt 只能控制抓取，不能阻止页面被索引；需要禁止索引时应使用 meta robots 或 X-Robots-Tag。

检查与维护建议

1. 将 robots txt 放在网站根目录，确保可通过 https://域名/robots.txt 访问；
2. 使用搜索引擎站长工具测试规则，确认目标 URL 的抓取状态；
3. 上线新目录或改版后及时复核规则，避免误伤重要页面；
4. 不要在其中放置敏感信息，该文件对所有访问者公开可见。

合理配置 robots txt 能帮助爬虫更高效地发现优质内容，同时减少无效抓取。建议结合站点地图、日志分析和抓取统计持续优化，而不是一次性写完就不再维护。