Robots.txt 与站点地图：正确配置指南

你的 robots.txt 和站点地图配置承担两项独立的工作：robots.txt 告诉爬虫它们可以访问哪里，而 XML 站点地图告诉它们什么值得被发现。配置正确，搜索引擎就能迅速发现你最优质的页面；配置错误，仅仅一行代码就可能悄无声息地让整个网站被取消索引。危险之处在于，没有任何明显的故障——页面只是在数周内悄悄从搜索结果中消失。

这两个文件是技术 SEO 中最容易被误解的部分。人们经常用 robots.txt 试图将某个页面从 Google 中移除（结果适得其反），或者把预发布环境的 Disallow: / 发布到生产环境，然后纳闷为什么流量崩溃了。本指南将详细讲解每个文件的实际作用、导致悄然取消索引的错误，以及如何在它影响排名之前测试你的配置。

Robots.txt 和站点地图的实际作用

这两个文件常被混为一谈，但它们解决的是相反的问题。混淆它们的角色是大多数抓取问题的根源。

Robots.txt 是位于你根域名下的纯文本文件（example.com/robots.txt），用于控制抓取。它告诉行为良好的机器人哪些 URL 路径可以或不可以请求。它是一项指令，而非一把锁——Google 和 Bing 会遵守它，但它不是安全或隐私工具，也不会从索引中移除任何内容。

XML 站点地图是你真正希望被索引的规范 URL 列表，并可附带可选的新鲜度信号。它帮助爬虫发现那些仅靠内部链接可能无法迅速浮现的页面——新内容、深层页面或大型目录。

关键区别在于：抓取不等于索引。Robots.txt 管辖机器人是否抓取某个页面。索引则是关于该页面是否出现在搜索结果中的另一项独立决定。一个页面可能被禁止抓取却仍被索引；一个页面可能可被抓取却因 noindex 标签而被排除在索引之外。混淆这两个概念正是网站出问题的地方。

悄悄让网站被取消索引的 Robots.txt 和站点地图错误

这些错误会造成损害却不会给出任何错误提示。请对以下所有情况保持警惕。

• 用 Disallow 将页面从 Google 中移除。如果你在 robots.txt 中屏蔽某个 URL，Google 仍可能通过外部链接将其索引——你会看到状态为“已编入索引，但被 robots.txt 屏蔽”且没有描述。要真正移除一个页面，你必须允许它被抓取，并添加 noindex 元标签或 X-Robots-Tag 响应头。屏蔽它反而会让 Google 永远看不到那个 noindex。
• 把预发布环境的屏蔽规则发布到生产环境。最常见的灾难就是在预发布服务器上本应存在的 Disallow: / 在部署后被保留了下来。它会屏蔽整个网站。每次发布后都要对比你的生产环境 robots.txt。
• 屏蔽 CSS 和 JavaScript。Google 会像浏览器一样渲染页面。如果你禁止访问资源文件夹，它可能会看到损坏的布局，误判移动端友好性，并降低你的排名。要放行渲染所需的资源。
• 在站点地图中列出被屏蔽或非规范的 URL。站点地图应只包含状态码为 200、规范且可索引的 URL。包含被重定向、noindex 或被 robots 屏蔽的 URL 会发出相互矛盾的信号，并削弱对该文件的信任。
• 大小写和路径错误。Robots.txt 路径区分大小写并按前缀匹配。Disallow: /Admin 并不会屏蔽 /admin。一个多余的尾部字符可能屏蔽掉远超预期的内容。

编写引导而非屏蔽的 Robots.txt

保持精简。最好的 robots.txt 文件都很简短。每一条规则都是一份隐患，所以只添加你能说明理由的行。

1. 从宽松开始。一个常见且安全的基线是允许所有抓取并指向站点地图。只为真正的抓取陷阱添加 Disallow 规则——分面搜索参数、站内搜索结果、购物车和结算路径，或无限日历。
2. 理解规则的优先级。Google 采用最具体（匹配最长）的规则，而 Allow 可以覆盖范围更广的 Disallow。因此你可以屏蔽一个文件夹，却允许其中的某一个文件。
3. 有意识地使用 user-agent 区块。针对特定 user-agent 的规则会替换而非叠加到该机器人的通配符规则上。如果你为某个具名爬虫编写了一个区块，它会完全忽略你的 User-agent: * 部分。
4. 遵守限制。Google 最多解析 robots.txt 文件的 500 kibibyte；超出部分会被忽略。每个子域名、协议和端口都需要各自的文件——裸域名上的 robots.txt 并不覆盖子域名。

务必以站点地图位置结尾，例如一行指向绝对 URL 的 Sitemap:。这是向所有爬虫同时宣告你的 robots.txt 与站点地图关系最清晰的方式。

构建搜索引擎信任的 XML 站点地图

站点地图是关于抓取什么的建议，并按质量加权。把它当作一份精选列表，而不是你的 CMS 能生成的每个 URL 的大杂烩。

• 只包含规范、可索引的页面。每个 URL 都应返回 200、自我规范且不带 noindex。如果一个页面不够格进入站点地图，就该质疑它是否应该存在。
• 遵守大小上限。单个站点地图最多容纳 50,000 个 URL 或未压缩状态下的 50MB。更大的网站会拆分为多个站点地图，由一个站点地图索引文件引用。
• 让 lastmod 真实可信。lastmod 日期应反映真实的内容变更。Google 越来越信任准确的 lastmod 值，并在它们总是“今天”时忽略它们——这是一个典型的 CMS 错误，会训练爬虫不信任整个文件。
• 跳过 priority 和 changefreq。Google 已表示它实际上会忽略这两个字段。不要浪费工程精力去调整它们。
• 自动化生成。手动维护的站点地图会逐渐过时。动态生成它，让新页面自动出现、被删除的页面自动下线。

连接两个文件并在受损前进行测试

robots.txt 和站点地图协同工作，二者在变更的那一刻就需要验证——而不是等到数周后流量已经下跌时。

1. 在 robots.txt 中引用站点地图，同时也在 Google Search Console 和 Bing Webmaster Tools 中提交它。提交后你会获得一份按站点地图统计的已发现与已索引 URL 报告。
2. 阅读覆盖率报告。在 Search Console 中，“网页”报告会标记“被 robots.txt 屏蔽”和“已编入索引，但被屏蔽”——在你关心的页面上出现任一状态都是需要立即修复的红色警报。
3. 测试单个 URL。使用网址检查工具来确认某个特定页面可被抓取和索引，并查看 Google 实际存储的渲染版本。
4. 每次部署都做对比。在你的发布流程中加入一项检查，当 robots.txt 发生变化时发出警报，尤其是出现 Disallow: / 时。这一道防护能避免本文中代价最高的错误。

定期对你的 robots.txt 与站点地图配置进行审计——而不只是在上线时——才能从根本上杜绝悄然取消索引的发生。

在新域名上从干净的地基开始

技术 SEO 在全新域名上最容易做对，趁着糟糕的规则和过时的 URL 尚未累积之前。当你获得一个品牌化的名称并在其上搭建时，你从第一次提交起就掌控着抓取脉络。

如果你正在挑选这个名称，像 Atom.com 这样的精选市场值得重点考虑：它列出高端、品牌化的域名，附带免费的 AI 估值、USPTO 商标检查、安全托管交易，以及随每个条目一起交付的设计好的徽标——当你想要一个令人难忘的品牌而非一串关键词时非常有用。Atom 还提供注册商服务，因此你可以在一个平台上注册和管理可用域名、设置域名服务器、配置 DNS 和转发，并启用 DNSSEC。

实话实说成本问题：如果你只需要最便宜的成本价注册，Porkbun（约 $11，含免费 WHOIS 隐私保护）或 Cloudflare（接近批发价）是性价比之选。当你同时想要一个有估值、商标检查和徽标一次性支持的高端或品牌化名称时，才选择 Atom。无论你走哪条路线，你应该为新网站添加的第一批文件就是一个精简的 robots.txt 和一个自动生成的站点地图——从干净开始，你就永远不必在日后去解开一团乱麻。

常见问题

robots.txt 会把页面从 Google 中移除吗？

不会。Robots.txt 只阻止抓取，而非索引。如果其他网站链接到它，一个被 disallow 的页面仍可能以“已编入索引，但被 robots.txt 屏蔽”的形式出现在结果中。要移除一个页面，请保持它可被抓取并添加 noindex 元标签或 X-Robots-Tag 响应头，紧急情况下可使用移除工具。

我同时需要 robots.txt 和站点地图吗？

它们是可选的，但强烈推荐。没有 robots.txt 时，默认一切都可被抓取，这对许多小型网站来说没有问题。站点地图也不是必需的，但它能加快大型、新建或深层链接网站的发现速度。两者结合能为爬虫提供清晰的指引，所以大多数正式的网站都应同时拥有二者。

一个站点地图能容纳多少个 URL？

单个 XML 站点地图最多可包含 50,000 个 URL 或未压缩状态下的 50MB，以先达到者为准。更大的网站会把 URL 拆分到多个站点地图文件中，并将它们全部列在一个站点地图索引文件里，而该索引文件本身最多可引用 50,000 个站点地图。

为什么我的整个网站在上线后从 Google 中消失了？

最可能的原因是 robots.txt 中残留了一个从预发布环境带过来的 Disallow: /，它屏蔽了整个网站的抓取。检查 example.com/robots.txt，移除这条全站屏蔽规则，然后在 Search Console 中请求重新抓取。加入一项部署检查，让它不会再次发生。

我应该在站点地图中设置 priority 和 changefreq 吗？

不必。Google 已表示它实际上会忽略 priority 和 changefreq 字段，所以调整它们是白费力气。相反，应把重点放在准确的 lastmod 日期上，并只包含规范、可索引、状态码为 200 的 URL，这些才是搜索引擎真正使用的信号。