Disallow指令基础：它控制什么

在百度搜索引擎优化（SEO）中，Disallow是robots.txt文件里最重要的指令之一。它告诉搜索引擎爬虫：“这个目录或页面你不要抓取。”

许多站长在初次配置时，可能因为一个斜杠放错位置，或者不清楚通配符的用法，无意中屏蔽了整站内容，导致网站长时间不被收录。常见误用场景包括：

• 写成了Disallow: / —— 这表示禁止爬虫访问任何页面，等于让百度站长工具看到“空站点”。
• 路径少写了斜杠，比如Disallow: admin，可能本意只屏蔽管理后台，结果连普通文章页也一起屏蔽。
• 多条规则顺序颠倒，导致Allow指令无法覆盖Disallow的限制。

三步排查：你的robots.txt有没有误用

如果你发现网站收录量突然下降，或者新发布的内容迟迟不被抓取，可以先按以下流程检查：

1. 打开浏览器，在地址栏输入你的域名/robots.txt，直接查看文件内容。
2. 确认Disallow的值：如果看到Disallow: /，且旁边没有其他Allow规则作为例外，那么整站被屏蔽就是肯定的。
3. 使用百度搜索资源平台的“抓取诊断”——输入一个你想被收录的页面URL，看模拟抓取是否被拒绝。如果返回“被robots.txt禁止”，说明误用已经生效。

常见误用模式与修正建议

提醒：百度搜索爬虫对robots.txt的解析遵循标准协议，但不同搜索引擎对通配符（*、$）的支持程度略有差异。如果你不确定，建议使用最清晰的路径写法，比如直接写Disallow: /temp/，而不是写复杂的正则表达式。

修正后的验证与提交

当你修改完robots.txt文件后，需要做两件事：

• 重新保存并上传到网站根目录，确保访问你的域名/robots.txt能看到新内容。
• 登录百度搜索资源平台，在“搜索管理” -> “Robots文件”中提交更新，百度会自动重新抓取。

注意：即使修正了误用，已因为被屏蔽而删除的索引页不会自动恢复。你需要手动在百度搜索资源平台提交“死链”或“收录”请求，或者等待爬虫下次正常抓取时重新收录，这个过程可能需要一到两周。

预防误用的最佳实践

对于零基础的SEO新手，建议记住一条原则：除非你清楚知道某个目录必须屏蔽（比如后台、临时文件、重复内容库），否则不要轻易使用Disallow。 如果暂时没有屏蔽需求，可以留空robots.txt文件，或者只写一句User-agent: *，不添加任何Disallow行，这样爬虫会正常抓取整站内容。

此外，建议在测试环境中先验证规则效果：可以用百度搜索资源平台的“抓取诊断”工具，输入各类URL，确认只有你希望屏蔽的URL返回“禁止”。如果发现不应该禁止的URL也被拦截，及时调整规则。

掌握Disallow的正确用法，是百度SEO从零到一的关键一步。多数网站收录问题，根源就藏在这个小小的文本文件里。耐心排查，你很快就能看到收录恢复正常。