Bob Jiang | 敏捷教练 | Scrum Master

敏捷培训 | Scrum培训 | 组织创新

网站地图之搜索引擎收录

Posted at — Apr 24, 2019 阅读

网站地图之搜索引擎收录

无意中发现我的博客从2015年起,并不在谷歌搜索引擎的收录中。即你在谷歌是查不到我的博客内容的。

既然发现问题,就要定位问题出在哪儿,以及修复它。

定位问题

使用google search console,把网站加进去。

需要网站的DNS域名增加一条TXT记录,用来确认你是网站的站长。

确认后,检查网站链接的有效性。如下图,点击“网址检查”

输入你网站中的任何网址,如可以输入 bobjiang.com (BoB的博客)

检查报告如下:

我的博客还未完全恢复,显示Google仍未收录。

这里根据报告,就可以找到详细的问题描述,以及更多帮助信息。

我的网站提示为被 robots.txt 禁止抓取。

解决问题

既然被 robots.txt 禁止抓取,检查网站博客中的所有文件后未发现 robots.txt 。

咨询博客提供商(海波同学),发现有一处关键设置,即是否允许机器人设置为 yes。修改为 no 后即可。

为了更快恢复所有的抓取,需要生成网站地图。

这里有谷歌推荐的第三方网站地图生成工具列表[1].

有5类:

我选择了在线服务(不用部署、不用下载,但可能有一定的限制):

XML sitemap generator

生成网站地图

  1. 填写对应的网站信息,如图:

  2. 点击按钮 Generate sitemap

  3. 生成后,点击下载 sitemap XML file

  4. 上传sitemap.xml文件到网站目录,如我的上传在网站根目录:

https://bobjiang.com/sitemap.xml

  1. 返回 google search console
  2. 点击左侧导航栏的 索引 - 站点地图,结果如下图:

上图结果显示我的网站上次被谷歌收录的时间是2015年12月9日。

  1. 输入站点地图的网址,如 https://bobjiang.com/sitemap.xml
    提示:可以用浏览器检测一下输入是否正确。

至此,问题修复。

大概需要等一段时间(最多48小时),等谷歌重新开始抓取。

参考资料

[1] 谷歌推荐的三方的网站地图生成器 [2] XML sitemap generator

思考

通过这次的问题,我发现博客还是要维护的,尤其是定期用搜索引擎自己检查一下。

每日问题

关于作者

BoB Jiang

版权声明

本文采用 CC BY-NC-SA 3.0 许可协议
转载请注明出处!