robots txt 是什么？网站爬虫协议配置与优化指南

📍 WDQWDWQD987AAAAA:216.73.216.49
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4e3a4911a543.html
📄

robots txt 是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些需要避开。它是搜索引擎优化（SEO）中控制抓取范围的基础工具，合理配置能提升索引效率，避免敏感内容被收录。

robots txt 的基本语法与作用

该文件遵循 REP（Robots Exclusion Protocol）协议，常用指令包括：

• User-agent：指定规则适用的爬虫，如 Googlebot 或 * 代表所有爬虫。
• Disallow：禁止抓取的路径，例如 /admin/。
• Allow：在禁止目录中开放特定路径。
• Sitemap：声明站点地图地址，帮助爬虫发现页面。

例如，禁止所有爬虫访问后台目录，同时允许访问公开图片：

User-agent: *
Disallow: /admin/
Allow: /images/
Sitemap: https://example.com/sitemap.xml

配置 robots txt 的常见误区

1. 误用 Disallow 阻止索引：Disallow 只阻止抓取，不阻止索引。若页面已被外链，仍可能出现在搜索结果中。需要彻底移除索引时，应使用 noindex 元标签。
2. 路径写错导致误屏蔽：避免使用 Disallow: / 屏蔽全站，除非网站正在维护。
3. 忽略大小写与通配符：路径区分大小写，* 和 $ 可匹配模式，但需测试确认。
4. 忘记声明 Sitemap：声明站点地图能加快页面发现，是 robots txt 的重要补充。

robots txt 的测试与维护

发布前可用搜索引擎官方工具测试，例如 Google Search Console 的 robots txt 报告。定期检查文件是否可访问（返回 200 状态码），避免因服务器错误导致爬虫无法读取。同时，结合日志分析抓取频率，动态调整 Disallow 规则，平衡抓取预算与内容曝光。

总结：robots txt 是轻量但关键的 SEO 配置文件。正确使用 User-agent、Disallow、Allow 和 Sitemap 指令，并定期测试维护，才能让搜索引擎高效抓取优质内容，同时保护网站隐私与资源。