百度蜘蛛和nofollow

由愈发分享时间：2023-09-26 14:14:17 收藏本文

【简介】感谢网友“愈发”参与投稿，以下是小编帮大家整理的百度蜘蛛和nofollow(共10篇），欢迎大家收藏分享。

篇1：百度蜘蛛和nofollow

最开始的时候，nofollow标签的出现是为了防止搜索引擎进入到该页面内的所有的外部链接，例如说加上：seo优化公司，这样就是表示，告诉了搜索引擎不要去爬行seo优化公司这个链接，因此，百度蜘蛛是不会爬行带上nofollow属性的链接的，

如果某一个网页上有一个链接是指向另一个网页的，但是在这个网页上加上了nofollow的标签，那么搜索引擎就不会把另外一个网页算为这个网页的反向链接，会减少这个链接的权重。

那么，nofollow标签是否是真的管用的呢?正确的使用nofollow标签对于网站优化是很有作用的，当链接被加上了nofollow标签之后，这一个链接都是不会被搜索引擎赋予较高的权重的，而且被加上nofollow标签之后，这个链接不会被算为有效的外部链接，是不会起到任何作用的，

那么，nofollow标签有什么作用呢?

1.不重要的一些链接上带上nf标签，是可以均衡站点的链接权重的，在网站的内容链接上，使用这个标签，可以控制好内部链接的权重，也能控制好流量的流动和分布。

2.如果网站内出现了很多垃圾链接，是可以采用nofollow标签的，比如说一些博客的评论，或者是论坛内的留言，这些位置都可能会出现很多垃圾链接，带上了nofollow属性之后，就可以防止网站被连带，如果你在发布外链时，有些论坛内做了nf属性，那么做的这些外链，可能就算是无用功了。

3.一些广告内的链接也是可以加上nf标签的，为了影响到网站的排名，可以在这些广告链接上加上nf标签，对于网站的排名是有很好的作用的。

在进行网站优化时，nf标签是不可缺少的，比如一些建站公司会将他们的网站链接挂在网站页面上，此时，加上nf标签也是非常有用的。所以用好nf标签对于网站是百利而无一害的。

篇2：百度支持nofollow

百度到底支持不支持nofollow，一直众说纷纭，今天得到百度比较正式的回答，百度支持nofollow：百度现在支持nofollow标签。带nofollow标签的链接，我们会忽略掉它绝大部分的作用。

tieba.baidu.com/club/9374916/p/5308779

近几天百度有积极加强与站长沟通的趋势，百度站长平台正在内测，相当于Google的webmaster tools，

现在又开了站长俱乐部，nofollow问题就是我在百度站长俱乐部问的第一个问题。

听说百度还要推出SEO指南。

值得高兴、鼓励，对百度和站长是双赢。

4月11号附加说明：

1）经多方验证，这个百度站长俱乐部是真的。

2）我没有邀请码，别找我要了。

作者: Zac@SEO每天一贴

原载: 中新国外服务器

篇3：如何养好百度蜘蛛

如何养好百度蜘蛛，这是SEO人最想得到的问题。饲养好百度蜘蛛，是网站胜过别人最好的筹码。

结合我个人建站和SEO操作的经验我来谈谈如何饲养好百度蜘蛛。

分析一下，要想百度蜘蛛经常光顾自己的站，首先要先把蜘蛛引过来。怎么引?最简单的办法是你自己创造个关键字，注意要保证关键字的唯一性(如：万事俱备)，百度搜索到的结果相关性要低。那关键字要在你首页出现，而且有相关解释，目的是围绕关键字做相关内容。然后去百度更新快的地方，发布相关信息。你发表的文章要围绕你创造的关键字写，关键字可以使用一两次加粗，色彩，或者下划线等，关键字连接到你首页地址，内容里再加一两次你首页地址(传说中的软文)。最关键字加好了，信息也发布了，最关键的就是要触发百度检测数据库，使百度蜘蛛会顺着那些新内容找到你首页!怎么触发?还用问吗?刚做的关键字，具有唯一性，而且相关性低，

如果有人搜索那关键字，百度蜘蛛检索时候会优先考虑最合适的页面，也许百度暂时没显示收录你的站，但是百度蜘蛛肯定已经闻风而动了。

原理已经介绍了一些，吸引蜘蛛还有许多方法，简单的总结一下：

一、增加原创的文字，适当围绕关键字优化，强烈建议在title里也加一下。这里的原创不是说纯自己写的就完事了，你还要搜索一下别人是不是写过类似的，如果有劝你还是另换话题吧。

二、在百度权重高，更新快的地方发布围绕关键字相关内容的信息和你站点连接，让百度蜘蛛能够从多个地方转到你的站上去。我常用的有百度知道、贴吧以及各大网摘。

三、围绕这个关键字进行推广，发布大量外链，让检索结果定位到你的站。

篇4：百度确认支持Nofollow属性内测百度站长平台

据ZAC报道，百度已经明确回复，百度支持超级链接的Nofollow属性了，带Nofollow标签的链接，百度会忽略掉它绝大部分的作用，这个消息对...

据ZAC报道，百度已经明确回复，百度支持超级链接的Nofollow属性了，带Nofollow标签的链接，百度会忽略掉它绝大部分的作用。这个消息对于关注搜索引擎的用户来说意义重大，因为以前人们对于百度是否支持Nofollow一直存在很大的疑问。

Nofollow标签是由Google领头新创的一个标签，目的是尽量减少垃圾链接对搜索引擎的影响，减少博客的垃圾留言，目前Google、Yahoo、微软都表示支持这一标签。当超级链接中出现nofollow标签后，搜索引擎会不考虑这些链接的权重，也不用使用这些链接用于排名。

在ZAC的日志中，除了技术细节更多是关于百度对站长更开放的讨论，例如百度设立了官方的交流贴吧和站长互动，甚至还在内测一款类似“Google网站管理员工具”的名为“百度站长平台”的工具。

在贴吧里面我们可以看到官方关于301重定向、收录变化、排名变化，nofollow属性等问题的回复，都是很开放性的并且在表达观点的同时并不否认自身技术的不足，甚至他们表示稍后将会发布一份《搜索引擎优化指南》，来帮助站长们更好地优化他们的网站。

并且站长们未来将可以在百度站长平台提交自己的Sitemap，删除无效链接以及更多的操作，看看现在的“Google网站管理员工具”你就知道。

从这些我们可以看到百度勇敢走出的第一步，这一切似乎预示着百度正在准备对站长采取更开放的态度。但这是一个迟来的努力，甚至是迟到太久。对于一个SEOer来说，他甚至无法向你保证在百度中的排名，而Google则有相对稳定的规律，只要你的站点维护良好并且拥有优质内容，就可以大概推算出排名可以提升的空间。真是很多人讨厌百度的最重要原因，他们讨厌没有任何规矩和不可预见的结果，事实上没有人喜欢。

如果你遇到一些问题发邮件咨询，而百度只会给你一个提前拟好的格式化的回复，让你耐心等待并且几乎你不会得到任何回复，因为事实上除了百度自己没有人知道那些该死的邮件被丢到哪里去了，

而根据大多数人的经验，Google对于大多数问题的回应良好，尽管Google也只提供电子邮件咨询。

当然，还有更多的潜规则，例如你总会发现百度自己产品的排序总是会比第三方网站更好，尽管内容不是那么完美但是百度认为这无关重要。甚至有众多用户声称他们被威胁购买竞价广告，否则网站排名会受到影响，当然这是未经证实的，因为所有的数据都在百度自己手里。

百度在做一些事情之前，最需要考虑到的事情是它是全球最大的中文搜索引擎，它承载了13亿中国人和无数华人的期待。所以，这即便是一辆破车，就像是配图里面贴着百度Logo的出租车一样，也要有足够的信念和勇气去坚持，才能够走得更好乃至成就一家伟大的互联网公司。尊重算法，维持底线，这是大家对百度的最大期望。

来源：XJP投稿，Williamlong做了部分修改和调整，原文地址。

参考资料：Google如何处理nofollow关于rel=“nofollow”“Nofollow”向网站管理员提供了一种方式，即告诉搜索引擎“不要追踪此网页上的链接”或“不要追踪此特定链接”.

最初，nofollow 属性出现在网页级元标记中，指示搜索引擎不要追踪(即抓取)网页上的所有外向链接。例如：

将 nofollow 用于各个链接前，要阻止漫游器追踪某网页上的各个链接需要完成大量的工作(例如，将该链接重定向至 robots.txt 中拦截的网址)。因此，我们创建了 rel 属性的 nofollow 属性值。这可让网站管理员更精确地进行控制：无需指示搜索引擎和漫游器不要追踪该网页的所有链接，只需轻松地指示漫游器不要抓取某特定链接即可。

Google 如何处理已使用 nofollow 的链接?

我们不追踪此类链接。也就是说，Google 不会传送这些链接中的 PageRank 或定位文字。从本质上说，使用 nofollow 会使我们从整个网络中放弃这些目标链接。不过，如果其他网站链接到这些目标网页而没有使用 nofollow，或目标网页的网址是通过站点地图提交给 Google 的，则这些网页仍可能会出现在我们的索引中。另外，值得注意的是，其他搜索引擎对 nofollow 的处理方式可能略有不同。

厚诚集智成长无限 www.51hlht.com

清大燕园网校(edu.study365.cn)是国内最大的在线学习、网络课程平台！

篇5：百度关于链接url地址和nofollow属性的链接的处理

请帮忙代问一下:

我们知道,锚文本链接如果没有nofollow属性,搜索引擎会给于权重,站长们一般也通过这个方式进行推广,但是现在用锚文本链接推广越来越难,很多地方只支持发文本链接,

我想问的是:

1.文本链接url地址,百度是否会发现他是一个url地址并通过这个地址到相应的url地址上去抓取.

2.不带nofollow属性的链接,一般蜘蛛会认为他给于了这个地址以权重. 那么文本链接url地址,是否也会给于相应的url地址权重呢?

以上二个问题想从百度得到一个确定答案, 因为站长群里有很多说法,不知道哪个是真的.

答：

1.文本链接url地址,百度会发现他是一个url地址并通过这个地址到相应的url地址上去抓取

2.我们对链接是否应该传递权重，唯一的判断标准是：这个链接是否用户or对方网站真心推荐你的网站、这个推荐，是否对用户有价值，

百度关于文本链接url地址和nofollow属性的链接的处理

，

篇6：浅析百度蜘蛛的日常工作习性

搜索引擎用来爬行和访问页面的程序被称为蜘蛛工，也称为机器人(bot)，搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。

一、robots.txt文件

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜素引擎抓取某些文件或目录。蜘蛛将遵守协议，不抓取被禁止的网址。

和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辨识搜索引擎蜘蛛。下面列出常见的搜索引攀蜘蛛名称：

二、跟踪链接

为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来。

整个互联网是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，

当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。

最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。

所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

蜘蛛跟踪链接，从A页面爬行到Al，A2，A3，A4，到A4页面后，己经没有其他链接可以跟踪就返回A页面，顺着页面上的另一个链接，爬行到B1，B2,B3，B4。在深度优先策略中，蜘蛛一直爬到无法再向前，才返回爬另一条线。

广度优先是指蜘蛛在一个页面上发现多个链接时，不是顺着一个链接一直向前，而是把页面上所有第一层链接都爬一遍，然后再沿着第二层页面上发现的链接爬向第三层页面。比如，我的一个站点，股票入门大家可以去看下，研究下。

还有就是蜘蛛从A页面顺着链接爬行到Al，B1，C1页面，直到A页面上的所有链接都爬行完，然后再从A1页面发现的下一层链接，爬行到A2 ，A3，A4，从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个互联网。在实际工作中，蜘蛛的带宽资源，时间都不是无限的。也不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。

篇7：Nofollow是什么意思和用法

前面我们已经讲过什么是反向链接，而反向链接是影响网站权重和排名的重要因素，所以SEO灰帽和黑帽者都会对外发布很多无意义的垃圾内容和链接，而这些垃圾链接会影响搜索引擎对网页质量的判断结果，所以搜索引擎对此深恶痛绝，因此Nofollow变诞生了。

nofollow是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎不要追踪此网页上的链接或不要追踪此特定链接。意思即此链接不会计算权重、不会传递pr值。

目前支持Nofollow属性的搜索引擎有：谷歌、必应Bing、有道、搜搜也支持该标签，不支持的有雅虎和搜狗，

360搜索未知。

nofollow标签通常用两种使用方法：

1、将”nofollow”写在网页上的meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接。

2、将”nofollow”放在超链接中，告诉搜索引擎不要抓取特定的链接。

链接1

或者链接1

其中external的意思是网页外部的链接不要追踪的意思，也可以说external nofollow是标准的写法。

篇8：百度谷歌蜘蛛机器人活动规律

我们大家一定知道百度和谷歌有一个蜘蛛机器人,换句话说就是百度和谷歌的一套收录网站的程序或系统,我们都称它为蜘蛛机器人，他们是程序不是人，也不是神，所以它们总有自己的活动规律，下面就来谈谈，

一.网站收录初期

网站被百度收录初期的活动规律，首先进入你提交的网站首页或页面，然后从源文件中分析提取出你提交页面下的内链，然后逐一的提取你的网页。当然它不会一天两天的就给你把你加的内容，全部爬行完，它们会分不同的时间段进行爬，然后给你计算出蜘蛛在你网站的活动时间及时间的长短。如果百度蜘蛛机器人一旦发现你网站有死链或打不开的网页，会马上终止爬行。所以我们网站的初期，一定不要加外链或少加。网站没有建设好或内容不是很多的时候，一定不要放到网上去，网站放到网上去之前一定要检查一下是否有死链。我们一个网站放到网上去的时候，一定要是一个成形了的网站、有足够内容的网站。因为这样的网站你放上去的时候，然后在去向百度提交收录，他们第一次来，会给你网站留下一个好的印象。这样有一个好印象的话，他们会来第二次，第三次......。就向我们一个人遇见一个新朋友似的，第一印象好的话，以后办事方便些，一个道理。

当然，谷歌收录网站初期的活动规律，要比百度要强一些，谷歌的蜘蛛似乎要比百度的要勤。但还是和百度一样，一旦发现有死链，或打不开网页，就会马上终止。不过他们判断一个网页是否打不开的时间好像要比百度的要长。我原来用一个新网站做过测试，百度一旦打开的时间超过8秒左右，谷歌是十秒左右，就判断死链或无效网页，

所以说我的在做网站的时候，源代码能少的一定要少，不要加一些无用的代码进去，因为那样它们打开的时间长了就会判断无效的。

二.网站收录稳定期

网站被百度收录稳定期后，蜘蛛机器人首先从首页进入，每天会有十分之一的爬行是从首页进入，如果与上次的首页同就马上停止。谷歌就不一样，还是和前面一个阶段一样，从首页进入然后进行大量的分析爬行。所以说我们在做网站的后期，也就是更新网站内容的时候，一定要分不同时间段更新，让你更新的内容都出现在首页，不要一下全部更新了，有一些页面出现在首页的机会就没有，那样的话，百度就会把你加的内容给遗忘的。在这个时间你就会发现他们蜘蛛机器人给你网站的一定时间规律，也就是你在什么时候加内容，他收录的时间与你加内容的时间最短。只要你长期的注意一下，你会发现他们来的规律的。当然说了这么多，你不是很细心的人，要发现这些规律是有一定难度的。给大家推荐一款源码露珠CMS,这个建站源码后台能比较清晰的记录各大搜索机器人的痕迹，有各个机器人来访的时间，来访的页面，对来访的详细数据作了分析，进行24小时时间段分析，对各个频道的分析，对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道，哪个版块都进行了分析，同时也给你提出了补救其它频道和版块的建议，哪个时间加内容收录最快等等。

百度在稳定期第一天收录的页面，经过分析后会在第二天的早上8:30左右的时候全部给你放出来。谷歌就不一样了，一般会在第二天的七点之前给你放出来的。

综上所述，我们的网站要想百度和谷歌大量的收录，我们只要用心去对待它们的蜘蛛机器人，我想总一天它们会喜欢你网站的。在此祝大家好运。以上就是我本人的一些看法,谈得比较肤浅,欢迎大家给我指正,与我交流

篇9：常见的百度蜘蛛IP解释

根据不同的IP我们可以分析网站是个怎样的状态，以下常见的百度蜘蛛IP:

123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权，

220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。

220.181.7.*、123.125.66.*代表百度蜘蛛IP造访，准备抓取你东西。

121.14.89.*这个ip段作为度过新站考察期。

203.208.60.*这个ip段出现在新站及站点有不正常现象后。

210.72.225.*这个ip段不间断巡逻各站。

125.90.88.* 广东茂名市电信也属于百度蜘蛛IP主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。

220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。

220.181.108.92 同上98%抓取首页，可能还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。

123.125.71.106抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP段，爬过的文章或首页基本24小时放出来。

220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP段，爬过的文章或首页基本24小时放出来。

220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新，

123.125.71.95抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

123.125.71.97抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0代表未更新。

123.125.71.117抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。

220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!

一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。

logo分析网站：www.loghao.com

篇10：浅谈百度蜘蛛“伪装”IP的影响

在经常分析网站日志文件的时候，总会发现百度蜘蛛(BaiDu Spider)IP中出现222.77.187.33，经查询，该IP是位于福建省福州市电信IP，而百度蜘蛛IP是位于北京的联通IP，在网站日志中分析该IP的抓取行为时候发现，该IP只抓取网页首页，经查询，该IP为站长工具的一个友情链接检测程序，该程序默认模拟百度蜘蛛程序抓取页面。

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”，位于福建省福州市。

百度蜘蛛IP(根据网站日志文件统计)

123.125.71.* Baiduspider/2.0(百度网页爬虫)，也包括 Baiduspider-image(百度图片爬虫)

61.135.186.* Baiduspider-cpro(百度联盟爬虫)

百度蜘蛛IP出现伪装IP的影响

分析网站日志文件是必不可少的工作，因为网站日志中记录着详细的数据，这些数据包括搜索引擎爬虫数据、服务器运行、用户浏览行为数据等等，对这些数据的分析，可以比较全面的掌握网站的情况，

对与SEO工作，针对性分析搜索引擎的爬虫数据，有助于了解这些蜘蛛的爬行习惯，进一步改进网站。

面对互联网数以亿计的网页数据，搜索引擎为了增加提高自身爬虫的工作效率果，往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作，但如果这些IP段或者蜘蛛程序存在伪装，必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果，从而可能会影响SEO决策。

何况这次伪装的是百度蜘蛛的IP地址，抓取数量也比较多，造成的影响会更加严重，经过查询，很多SEO人员在网络上询问：

为什么百度蜘蛛总是抓取的网站首页?

为什么百度蜘蛛总是抓取而不是收录我的网站?