常见错误一：过度封禁导致网站核心页面被屏蔽

许多站长在配置robots.txt时，为了安全往往采取“宁可错杀一千”的策略。这种做法的典型后果是，百度爬虫无法抓取网站的关键内容页、分类页或文章详情页，导致搜索引擎认为该站内容匮乏，从而降低收录量与排名。例如，将整个/content/目录禁止，却忽略了该目录存放着所有正文页面。修正方法是只屏蔽无价值的系统目录（如后台管理、临时缓存、重复页面），对核心内容路径必须允许访问。

常见错误二：语法格式错误使规则被忽略

robots.txt对格式要求非常严格。常见的语法错误包括：

• 遗漏冒号：如写成“Disallow /admin”，正确写法应为“Disallow: /admin”。
• 路径遗漏斜杠：如“Disallow: admin”，应写为“Disallow: /admin”。
• 多余空格：部分解析器会将“Disallow: /admin”中的双空格视为无效。

修正方法：使用在线robots.txt校验工具逐行检查，确保每条指令的冒号后面有且只有一个空格，路径以斜杠开头。尤其注意“Allow”与“Disallow”只能出现一次，多个规则需分行列出。

常见错误三：未正确配置Sitemap引用

不少站长的robots.txt中遗漏了Sitemap地址声明。百度爬虫会优先从robots.txt获取Sitemap位置，没有这个引用，爬虫可能无法高效发现新发布的内容。正确做法是在文件末尾添加一行：

Sitemap: https://www.example.com/sitemap.xml

如果网站有多语言或分类站点地图，应逐一列出，每行一个Sitemap声明。

常见错误四：屏蔽了必要的静态资源

一些站长为了加速而将图片、CSS和JavaScript文件全部封禁。百度在评估页面体验时，会关注这些资源的加载情况。被屏蔽后，爬虫无法判断页面样式和图片质量，可能降低视觉完整性评分。建议只屏蔽非公开、临时或备份的静态资源目录，保留前端所需的关键样式、脚本和图片。例如：

• 错误：Disallow: /images/ （假设所有图片均用于正文）
• 正确：Disallow: /temp_images/ （只屏蔽临时文件目录）

常见错误五：使用通配符$等不兼容百度爬虫的规则

部分站长套用谷歌的robots.txt高级写法，如Disallow: /*?print=或Disallow: /*.pdf$。百度爬虫对通配符“$”和“*”的支持有限，这种规则可能完全失效。修正方法是改用明确的目录或文件后缀限制，例如：

• Disallow: /*print
• Disallow: /*.pdf

如果确实需要精确匹配，最好先查看百度搜索资源平台的官方文档，确认当前支持的语法版本。

常见错误六：不注意大小写与编码

robots.txt中的路径区分大小写，而许多站长习惯用小写，但网站实际目录可能是“/User/”而非“/user/”。同样，URL中含有中文或特殊字符时，需要使用百分号编码。修正方法：先通过浏览器访问确认服务器真实路径的大小写和编码，再将对应规则写入robots.txt。例如，实际路径为“/会员中心/”时应写成“/%E4%BC%9A%E5%91%98%E4%B8%AD%E5%BF%83/”。

修正后的检查清单