Googlebot

标签:鼾声如雷 澳门威尼斯人网上注册 坑头社区

Googlebot 是 Google 的网页抓取漫游器(有时称为“蜘蛛程序”)。抓取是指 Googlebot 找出要添加到 Google 索引中的新网页和更新过的网页的过程。

我们使用大量计算机来提取(或“抓取”)网络上的大量网页。Googlebot 使用算法进行抓取:计算机程序会确定要抓取的网站、抓取频率以及要从每个网站中抓取的网页数量。

Googlebot 如何访问您的网站

对于大多数网站,Googlebot 的平均访问频率不会高于几秒钟一次。不过,由于网络延迟,在一小段时间内,此频率可能会略高一些。

我们将 Googlebot 分布在多台计算机上,以提高性能并随着网络规模的扩大而扩展其作用范围。此外,为了降低带宽占用,我们会在几台计算机上运行多个抓取工具,而这些计算机通常位于它们正在网络中编制索引的网站附近。因此,您的日志可能会显示 google.com 上来自多台计算机的访问记录,而且所有计算机使用的都是用户代理 Googlebot。我们的目标是每次访问您的网站时,在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。 请求更改抓取速度。

禁止 Googlebot 抓取您网站上的内容

对于网络服务器,要想通过不发布指向它的链接的方式来达到保密目的几乎是不可能的。只要有人通过您“私密”服务器上的链接访问其他网络服务器,您的“私密”网址就会出现在引荐来源网址的代码中,而其他网络服务器也会存储这些网址并将其发布在自己引荐来源网址的日志中。同样,网络中包含许多已过期和已损坏的链接。只要有人发布了指向您网站的不正确链接,或未能成功更新链接以反映您服务器中的更改,Googlebot 就会尝试从您的网站下载不正确的链接。

如果您想阻止 Googlebot 抓取您网站上的内容,则可酌情使用系统所提供的多种方法。请注意,阻止 Googlebot 抓取网页、阻止 Googlebot 将网页编入索引以及完全阻止任何抓取工具或用户访问网页等操作各有不同。

有关垃圾内容发布者和其他用户代理的问题

Googlebot 使用的 IP 地址会不时地发生变化。Googlebot 会通过用户代理字符串来标识自己,但这可能会被假冒;要想确定访问是否来自 Googlebot,最好使用反向 DNS 查找

Googlebot 和所有正规的搜索引擎漫游器都会遵循 robots.txt 文件中的指令,但某些不良漫游器和垃圾内容发布者则不会。向 Google 报告垃圾内容。

Google 还拥有其他若干用户代理,包括 Feedfetcher(用户代理 Feedfetcher-Google)。由于 Feedfetcher 请求是由已将相应 Feed 添加到自己 Google 首页的用户通过明确操作手动(而不是使用自动抓取工具)发送的,因此 Feedfetcher 不会按照 robots.txt 中指定的准则操作。您可以将自己的服务器配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息,从而阻止 Feedfetcher 抓取您的网站。详细了解 Feedfetcher。

本文是否对您有帮助?
您有什么改进建议?