已抓取,但尚未编入索引:改变整个网站前,先检查一个页面
使用 Search Console 和实用的页面检查来调查已抓取但未编入索引的 URL。
你刚上线的网站只有几个页面。首页已经被收录,但 Search Console 将一篇文章列为“已抓取 - 尚未编入索引”。你自己可以打开这个页面,也已经提交了站点地图。接下来该怎么办?
先选一个有代表性的 URL,而不是同时处理所有被排除的页面。Google 的网页索引报告说明,这个状态表示 Google 已抓取该页面,但尚未将它编入索引。这个标签本身没有指出原因。另一个状态“已发现 - 尚未编入索引”则表示 Google 发现了 URL,但尚未抓取。
本文从一个页面出发,说明可以收集哪些证据、如何选择下一步,以及什么时候应该停止改动,等待新的观察。下文的例子仅供说明,并非客户网站的实际结果。
首先检查准确的 URL
在 Search Console 中打开正确的资源。在“网页”中打开“已抓取 - 尚未编入索引”这一组,选择一个你确实希望搜索用户找到的页面。复制完整 URL,包括 https、主机名、路径和末尾可能存在的斜杠,再将它粘贴到“网址检查”中。
记录结果和上次抓取日期,并与最近一次修改页面的日期比较。同时比较报告日期、网址检查结果和上次抓取日期:不同报告可能反映不同时间的观察。Google 在网址检查文档中解释了索引数据与实时测试的区别。
如果被检查的 URL 已被收录,先确认它与报告中出现的地址完全相同,再记下各个日期,不必立刻再次修改。如果它仍被排除,就把这次检查结果作为基线。
实时测试能说明什么,不能说明什么
实时测试检查 Google 目前能否访问并处理这个 URL,以便将其编入索引。它适合在修改后使用,但实时测试成功不代表 Google 已经收录页面。索引结果描述的是 Google 保存的视图;实时结果是对 URL 的新一次检查。比较时把两者都保留下来。
确认这是你打算保留的页面
在网址检查中,如果字段可用,比较“用户声明的规范网址”和“Google 选择的规范网址”。规范网址是重复或非常相似的页面中首选的 URL;Google 的选择可能与网站声明的不同。参见 Google 的规范化指南。
假设一篇文章同时可以通过 /guide 和 /guide?source=newsletter 访问。如果带参数的 URL 被排除,而干净的 URL 已被选为规范网址并收录,那么下一步可能是在内链和站点地图中使用干净的 URL,而不是再创建一份内容。这只是例子,不代表你的网站采用了相同的规范网址设置。
如果一个重要且内容明显不同的页面指向不相关的规范网址,应调查原因。检查页面的 canonical 元素和重定向,并把主要内容与被选中的页面比较。不要以为只改 canonical 标签就能强制 Google 选择它。
比较访客看到的内容和 Google 能访问的内容
在普通浏览器中打开页面,确认主要标题、答案和必要内容确实存在。然后利用网址检查中可用的抓取或呈现信息,检查 Google 获取到了什么。Google 在实时测试说明中介绍了可用的截图和呈现后 HTML。
寻找具体的不一致。例如,访客能看到文章,但检查得到的 HTML 或截图只显示登录页面,就应与负责网站的人一起检查响应和渲染路径。JavaScript 本身不是诊断结论:Google 可以呈现 JavaScript,但仍需要检查特定页面能否被访问和呈现。参见 Google 的 JavaScript SEO 基础。
如果实时测试指出访问或索引限制,也要检查当前响应、重定向和可能存在的 noindex 指令。先前的“已抓取”是历史观察,不能保证页面今天仍返回相同响应。HTTP 响应成功本身也不能证明页面已经被收录。
给页面一个其他页面没有完成的任务
当规范网址和访问检查都说得通后,把这个页面与内容最接近的另一个页面放在一起阅读。问自己:访客读完这个 URL 后,能做出什么决定或完成什么事情,是另一个页面不能同样方便地帮助他们完成的?
一个只替换城市名称的简短服务区域页面,可能没有提供足够的本地信息,帮助访客选择服务。如果相关信息真实,有用的修改可以加入实际服务区域、适用限制、清晰的联系方式和该地区特有问题的答案。教程则可能需要补上缺失步骤、原创示例,或者说明哪些情况下不适用。
不要仅为增加篇幅而填入泛泛的段落。如果两个页面确实满足同一种需求,就决定哪个应该作为主页面,并有意识地处理重叠内容。Google 的实用内容指南要求创作者关注为人提供帮助的内容;它没有保证任何特定修改一定会带来收录。
让下一步容易被发现
找一个现有页面,看看被排除的 URL 能否帮助读者继续完成任务。如果缺少相关链接,可以在上下文中加入描述性链接。例如,一篇比较服务报价的指南,可以链接到真正有用的页面,解释当地报价包含哪些内容。不要仅因为页面被排除,就在全站为每个页面增加链接。
让站点地图与希望被发现的规范网址保持一致。站点地图是发现信号,不是收录承诺。Google 的站点地图文档解释了它的作用和限制。如果页面已经有合适的内链,也已包含在站点地图中,就记录这一点并继续检查;反复提交同一份站点地图不能证明页面需要其他修复。
做一项有意义的修改,再比较同一组证据
记下 URL、检查状态和抓取日期、实际观察到的问题,以及你做了什么修改。发布修改后,如果需要确认新版本可访问,可以使用实时测试。对于有重要变更的 URL,可以通过 Search Console 请求编入索引,但请求不保证收录或立即处理。参见 Google 的重新抓取指南。
下次复查时,检查同一个规范 URL,并将状态和抓取日期与之前的记录比较。如果 Google 在修改后还没有重新抓取,你尚无证据判断它如何处理这次修订。如果已经重新抓取但页面仍被排除,就回到已有证据;单凭状态无法说明多个可能因素中哪一个在起作用。
如果还想单独检查首页,注册站主可以使用 SEOHabit 的网站 SEO 检查工具;首次检查的范围仅限首页。它不能诊断本例中内页的收录状态。网站所有权及持续检查遵循产品当时的流程;Google 的收录信息仍应使用 Search Console 查看。
现在先选一个重要 URL,保存它的网址检查结果。即使今天的答案只是 Google 尚未收录它,这也为下一次决定提供了真实基线。