抓取预算

什么是抓取预算？

抓取预算是谷歌蜘蛛在给定时间内在网站上抓取和索引的网页数量。

为什么爬网预算对搜索引擎优化很重要？

简而言之: 如果谷歌不索引一个页面，它将不会为有任何排名。

因此，如果你的页面数量超过了网站的抓取预算，那么你的网站上就会有没有被索引的页面。

其实绝大多数的网站并不需要担心抓取预算。谷歌非常擅长发现和索引页面。

不过在某些情况下，你需要注意缩减抓取预算：

• 你运营着一个大型网站:如果你有一个网站（类似电子商务网站）拥有1万以上的页面，谷歌可能很困难发现所有页面。
• 你只是添加了一堆页面:如果你最近为网站一下添加了几百个页面，想要让谷歌快速索引所有这些页面。
• 大量的重定向:大量的重定向和重定向链条会吞噬你的抓取预算。

所以，这里有一些简单的方法来最大化你站点的抓取预算。

最佳实践

提高网站速度

提高你网站的页面速度可以让 谷歌蜘蛛抓取更多你网站的 url。

事实上，谷歌声称:

“让网站运行得更快可以提高用户体验，同时也提高了抓取速度。”

反之，

缓慢的页面加载耗费了谷歌蜘蛛机器人宝贵的时间。

但是如果你的页面加载速度很快，谷歌蜘蛛就有时间访问和索引更多的页面。

使用内部链接

谷歌机器人会优先处理那些有大量外部和内部链接指向它们的页面。

是的，理想情况下你可以得到指向你网站上每一个页面的反向链接，但是这在大多数情况下是不现实的。

这就是为什么内部链接如此重要。

你的内部链接会把谷歌蜘蛛发送到网站上所有你想要索引的不同页面。

扁平化网站结构

根据 Google 的说法:

“在互联网上更受欢迎的网址往往更容易被抓取，以便在我们的索引中保持更新。”

在 Google 的世界里，受欢迎 = 连接权重。

这就是为什么要为你的网站使用扁平化网站结构。

扁平化的架构设置了一些东西，这样所有站点的页面都有一些链接权重流向它们。

避免“孤页”

孤立页面是指没有指向它们的内部链接或外部链接的页面。

谷歌很难找到孤儿页面。因此，如果你想最大限度地利用你的抓取预算，确保至少有一个内部或外部的链接指向你的网站上的每一个页面。

限制重复内容

限制重复内容是明智的，原因有很多。

（对于谷歌来讲他们已经为相关内容排名，没有理由再为重复内容排名）

在抓取预算角度，重复的内容会损害你的抓取预算。

因为 Google 不想浪费资源，为同样的内容索引多个页面。

所以要确保你网站的页面100% 是由原创的高质量的内容组成的。

虽然这对于一个拥有10k 以上页面的网站来说并不容易。但是，如果你想从自己的预算中获得最大收益，这是必须的。

了解更多

优化你的抓取和索引: 一个关于谷歌如何找到，抓取和索引页面的有用指南。

网站抓取爬行统计报告 : 一篇来自谷歌关于如何在谷歌搜索控制台阅读和解释抓取报告。