WordPress搬家，上线前怎样核对抓取与索引配置
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1747b63dc76d.html
📄
WordPress搬家，上线前怎样核对抓取与索引配置
上线前核对抓取与索引配置，核心是确认三件事：新站能被搜索引擎正常抓取、页面没有被误设为禁止索引、旧地址能正确指向新地址。时间人手有限时，优先检查robots.txt、页面级noindex和站点地址设置，这三项出错会导致整站无法进入索引。
先看 robots.txt 是否挡住了整站
WordPress搬家后，最常见的抓取故障是robots.txt仍保留测试期的屏蔽规则。用浏览器直接访问新域名的/robots.txt，观察是否存在Disallow: /这类整站禁止抓取的条目。
- 如果看到
Disallow: /，说明整站被抓取工具屏蔽，必须处理。 - 如果只屏蔽了
/wp-admin/等后台路径，一般不影响前台页面被抓取。 - 如果文件不存在或返回 404，抓取工具会按默认允许处理，但建议补上规范内容，避免误判。
判断依据是：屏蔽规则针对的是目录还是整站。处理方式是登录后台或通过文件管理，删除测试期添加的禁止规则，只保留必要的后台与参数路径限制。
检查页面级 noindex 与站点可见性
抓取允许不等于索引允许。WordPress后台的“搜索引擎可见性”设置若被勾选为阻止索引，会在页面输出noindex标记。逐项核对：
- 进入后台“设置-阅读”，确认没有勾选“建议搜索引擎不索引本站”。
- 打开首页和一篇内页，查看页面源代码，搜索
noindex。若存在且不是刻意设置，需要关闭对应插件或主题选项。 - 检查是否安装了SEO插件，其“标题与元标签”或“索引”模块中可能单独对文章类型、分类页设了不索引。
适用条件是：你希望页面出现在搜索结果中。如果某类页面（如标签归档、作者页）确实不需要索引，保留noindex是合理的，但要明确这是主动选择，而不是搬家遗留。
核对站点地址与固定链接是否一致
WordPress搬家后，数据库里可能还残留旧域名。站点地址不一致会导致抓取工具被重定向到旧地址，或页面资源加载失败。检查方法：
- 后台“设置-常规”中，WordPress地址和站点地址是否都指向新域名。
- 访问一篇内页，查看源代码中的
canonical标签是否为新域名。 - 后台“设置-固定链接”无需修改，但保存一次可刷新重写规则，解决部分页面 404 问题。
如果发现旧域名残留，可用数据库搜索替换工具处理，但操作前必须备份数据库。判断结果是：所有前台页面的规范地址、资源地址都指向新域名，才算通过。
复查旧地址跳转与抓取状态
旧域名如果仍可访问，需要确认它是否正确跳转到新域名对应页面，而不是全部跳首页。用浏览器访问几个旧链接，观察是否返回 301 并落到内容一致的页面。
复查顺序建议：先看robots.txt，再看首页与内页的noindex，然后核对站点地址，最后抽查旧链接跳转。每一步用无痕窗口或抓取工具模拟访问，避免登录状态干扰判断。若条件允许，在新站上线后通过搜索平台的抓取测试工具提交首页和内页，观察返回状态码是否为 200。
下一步：打开新域名的robots.txt和首页源代码，逐项对照上面的检查点，把仍存在的屏蔽或旧地址问题先处理掉，再安排内容与链接的进一步核对。
