Baidubot 百度搜查引擎爬虫工具的实在名称是 而不是 Baiduspider

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

1、制止一切搜查引擎访问网站的任何局部

User-agent:*

Disallow:/

2、准许一切的robot访问(或许也可以建一个空文件"/robots.txt")

User-agent:*

另一种写法是

User-agent:*

3、仅制止Baiduspider访问您的网站

User-agent:Baiduspider

Disallow:/

4、仅准许Baiduspider访问您的网站

User-agent:Baiduspider

5、制止spider访问特定目录

在这个例子中，该网站有三个目录对搜查引擎的访问做了限度，即robot不会访问这三个目录。须要留意的是对每一个目录必定

离开申明，而不能写成"Disallow:/cgi-bin//tmp/"。

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

6、准许访问特定目录中的局部url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

7、经常使用"*"限度访问url

制止访问/cgi-bin/目录下的一切以".htm"为后缀的URL(蕴含子目录)。

User-agent:*

Disallow:/cgi-bin/*.htm

8、经常使用"$"限度访问url

仅准许访问以".htm"为后缀的URL。

User-agent:*

Allow:/.htm$

9、制止访问网站中一切的灵活页面

User-agent:*

Disallow:/*?*

10、制止Baiduspider抓取网站上一切图片

仅准许抓取网页，制止抓取任何图片。

User-agent:Baiduspider

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.gif$

Disallow:/*.png$

Disallow:/*.bmp$

11、仅准许Baiduspider抓取网页和gif格局图片

准许抓取网页和gif格局图片，不准许抓取其余格局图片

User-agent:Baiduspider

Allow:.gif$

Disallow:/.jpg$

Disallow:/.jpeg$

Disallow:/.png$

Disallow:/.bmp$

12、仅制止Baiduspider抓取jpg格局图片

User-agent:Baiduspider

Disallow:/.jpg$

标签： 上海网站优化排名

赏 赞

---

搜索引擎“蜘蛛”是指什么？

对一个网站服务器造成的访问压力如何？答：uspider会自动根据服务器的负载能力调节访问密度。 在连续访问一段时间后，、spider会暂停一会，以防止增大服务器的访问压力。 所以在一般情下，对您网站的服务器不会造成过大压力。 2.为什么spider不停的抓取我的网站？答：对于您网站上新产生的或者持续更新的页面，spider会持续抓取。 此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。 3.我不想我的网站被spider访问，我该怎么做？答：spider遵守互联网robots协议。 您可以利用文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。 4.为什么我的网站已经加了，还能在网络搜索出来？ 答：因为搜索引擎索引数据库的更新需要时间。 虽然spider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。 5.我希望我的网站内容被网络索引但不被保存快照，我该怎么做？答：spider遵守互联网meta robots协议。 您可以利用网页meta的设置，使网络显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。 和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了网络在搜索结果中显示该网页的快照，但网络搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。 多长时间之后会重新抓取我的网页？答：网络搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。 抓取造成的带宽堵塞？答：Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充baidu的spider恶意抓取。 如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。 您可以将信息反馈至网络网页投诉中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

利用百度查看网站Robots协议的方法

相信很多小伙伴都有在使用网络，那么在其中我们怎么去查看网站Robots协议呢？方法很简单，下面小编就来为大家介绍。

方法一：

1. 通过输入网址“”，进入网络搜索引擎页面。

2. 接着，在搜索框中输入任意内容搜索，当出现“由于该网站的文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 - 了解详情”这段文字时，点击其中的“了解详情”。

3. 进入了解详情页面后，找到“输入网站”，在其下文本框中输入我们想要了解的网站的网址，这里小编以输入“”为例。输完后，点击“检测”。

4. 然后其下方就会出现很多脚本语言（如下图红框所圈处），下面小编就来为大家解释一下这些语言的意思。

5. “User-agent: Baiduspider”：显示了搜索爬虫的名称，即为“Baiduspider”。同时，代表设置的规则对网络爬虫是有效的。如果出现多个“User-agent:”，则说明有多个爬虫被限制了。

“Disallow: /baidu”：这里显示的是不允许抓取的目录。如果有“/”，则表示所有页面都不允许抓取。

当然，其他的测试链接还有显示“Allow”的可能性，那么是什么意思呢？

“Allow: /s?”：它是用来将某些限制排除的，一般不会单独使用，会和“Disallow”一起出现。

方法二：

在浏览器搜索框中输入网址“”。

方法三：

1. 在网络搜索引擎（）搜索框中输入“网络资源”并搜索，在搜索结果中进入下图红框所圈结果。

2. 在网络资源页面中，点击页面上端的“网站支持”，然后再在其中找到并点击“Robots”。

3. 然后就会出现下图所示的Robots文件检测页面。

几个主流搜索引擎蜘蛛的名称

蜘蛛名称

1）Googlebot：从Google的网站索引和新闻索引中抓取网页

2）Googlebot-Mobile针对Google的移动索引抓取网页

3）Googlebot-Image：针对Google的图片索引抓取网页

4）Mediapartners-Google：抓取网页确定AdSense的内容。只有在你的网站上展示AdSense广告的情况下，Google才会使用此漫游器来抓取您的网站。

5）Adsbot-Google：抓取网页来衡量AdWords目标网页的质量。只有在你使用GoogleAdWords为你的网站做广告的情况下，Google才会使用此漫游器。

2.网络蜘蛛名称：

Baiduspider首字母B大写，其余为小写

3.雅虎（Yahoo!）蜘蛛名称：

1）Yahoo!搜索蜘蛛名称：Yahoo!Slurp.

2）Yahoo!搜索引擎广告蜘蛛：Yahoo!-AdCrawler.用来抓取Yahoo!搜索引擎广告登陆页网页

4.有道蜘蛛名称：

5.腾讯搜搜soso蜘蛛名称：

Sosospider首字母S大写，其余为小写

6.网络（sogou）蜘蛛名称：

sogouspider

蜘蛛名称

1）MSNBot：Mainwebcrawler（）

2）MSNBot-Media：Images&allothermedia（）

3）MSNBot-NewsBlogs：Newsandblogs（/news）

4）MSNBot-Products：Products&shopping（）

5）MSNBot-Academic：Academicsearch（）

拓展阅读：搜索引擎蜘蛛抓取网页规则分析

一、爬虫框架

我们可以将网页当作是蜘蛛的晚餐，晚餐包括：

已下载的网页。已经被蜘蛛抓取到的网页内容，放在肚子里了。

已过期网页。蜘蛛每次抓取的网页很多，有一些已经坏在肚子里了。

待下载网页。看到了食物，蜘蛛就要去抓取它。

可知网页。还没被下载和发现，但蜘蛛能够感觉到他们，早晚会去抓取它。

不可知网页。互联网太大，很多页面蜘蛛无法发现，可能永远也找不到，这部份占比很高。

通过以上划分，我们可以很清楚的理解搜索引擎蜘蛛的工作及面临的挑战。大多数蜘蛛是按照这样的框架去爬行。但也不完全一定，凡事总有特殊，根据职能的不同，蜘蛛系统存在一些差异。

二、爬虫类型

1、批量型蜘蛛。

这类蜘蛛有明确的抓取范围和目标，当蜘蛛完成目标和任务后就停止抓取。具体目标是什么?可能是抓取网页数量，网页大小，抓取时间等。

2、增量型蜘蛛

这类蜘蛛和批量型蜘蛛不同，他们会持续不断的抓取，对于抓取到的网页会定期抓取更新。因为互联网中的网页是随时处于更新状态中，增量型蜘蛛需要能够反映出这种更新。

3、垂直性蜘蛛

这种蜘蛛只关注特定主题或者特定的行业网页。以健康网站为例子，这类专门的蜘蛛会只抓取健康相关主题，其它主题内容的网页则不抓取。考验这只蜘蛛的难点是如何去更精准的识别内容所属于行业。目前来看，很多垂直类行业网站是需要这种蜘蛛去抓取的。

三、抓取策略

蜘蛛通过种子URL进行爬行拓展，列出大量待抓取URL。但是待抓取URL数量庞大，蜘蛛如何确定抓取顺序先后呢?蜘蛛抓取的策略有很多种，但最终目的是一个：优先抓取重要的网页。评价页面是否重要，蜘蛛会根据页面内容原创程度，链接权重分析等众多方式来进行计算。比较有代表性的抓取策略如下：

1、宽度优先策略

宽度优先是指：蜘蛛在抓取一个网页后，继续将该网页所包含的其它页面按顺序进行进一步抓取。这种思想看似简单，其实却很实用。因为大多数网页都是按优先级进行排序，重要的页面会优先在页面上进行推荐。

2、PageRank策略

PageRank是一种非常著名的链接分析方法，主要是用来衡量网页权重。如谷歌的PR，就是典型的PageRank算法。通过PageRank算法我们可以找出哪些页面是更重要的，然后蜘蛛优先去抓取这些重要性的页面。

3、大站优先策略

这个很容易理解，大网站通常拥有更多的`内容页面，并且质量也会更高。蜘蛛会先分析网站归类与属性。如果这个网站已经收录很多，或者在搜索引擎系统中权重很高，则优先考虑收录。

四、网页更新

互联网中的页面大多会保持更新，这样就要求蜘蛛所存储的页面也能及时更新，保持一致性。打个比喻：一个网页之前排名很好，如果页面已经被删，却还有排名，那体验就很不好。因此搜索引擎需要随时了解这些并更新页面，将最新的页面提供给用户。常用的网页更新策略在三种：历史参考策略，用户体验策略。聚类抽样策略。

1、历史参考策略

这是建立在一种假设基础上的更新策略。比如，若你的网页之前按规律一直更新，那搜索引擎也认为你的页面将来也会经常更新，蜘蛛也会按这个规律定期来网站进行抓取网页。这也是为什么点水一直强调网站内容需要有规律更新的原因。

2、用户体验策略

一般来说，用户只会查看搜索结果前三页的内容，后面的页面很少有人去看。用户体验策略就是搜索引擎根据用户的这个特点来进行更新。例如，一个网页可能发布时间较早，一段时间没更新，但是用户依然觉得有用，点击浏览它，那么搜索引擎先不去更新这些过时的网页也是可以的。这就是为什么搜索结果中，并不一定最新的页面排名一定靠前的原因。排名更多的是取决于这个页面的质量，而完全不是更新时间先后。

3、聚类抽样策略

上两种更新策略主要是参考了网页的历史信息。但存储大量历史信息对搜索引擎来说是一种负担，另外如果收录的是新网页则是没有历史信息可以参考的，那怎么办?聚类抽样策略是指：根据网页所展现出来的一些属性，来将很多相似网页进行归类，被归类的页面按照相同的规律去进行更新。

从了解搜索引擎蜘蛛工作原理的过程中，我们会知道：网站内容之间的相关性，网站与网页内容更新规律，网页上链接分布以及网站权重高低等因素都会影响到蜘蛛的抓取效率。知已知彼，让蜘蛛来得更猛烈些吧！