如何识别百度真假蜘蛛?

  • 874 views
  • 阅读模式

百度蜘蛛对于站长来说可谓上宾,可是我们曾经遇到站长这样提问:我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的?其实站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1、linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspiderhostname *.baidu.com  *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。
如何识别百度真假蜘蛛?

2、windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname*.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

3、 mac os平台下,您可以使用dig 命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname *.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

Baiduspider IP是多少

即便很多站长知道了如何判断百度蜘蛛,仍然会不断地问“百度蜘蛛IP是多少”。我们理解站长的意思,是想将百度蜘蛛所在IP加入白名单,只准白名单下IP对网站进行抓取,避免被采集等行为。

但我们不建议站长这样做。虽然百度蜘蛛的确有一个IP池,真实IP在这个IP池内切换,但是我们无法保证这个IP池整体不会发生变化。所以,我们建议站长勤看日志,发现恶意蜘蛛后放入黑名单,以保证百度的正常抓取。

同时,我们再次强调,通过IP来分辨百度蜘蛛的属性是非常可笑的事情,所谓的“沙盒蜘蛛”“降权蜘蛛”等等是从来都不存在的。

weinxin
我的微信
这是我的微信扫一扫
年轻的老刘
  • 本文由 发表于 2014年12月24日 10:04:37
  • 转载请务必保留本文链接:https://www.uhua0318.com/zhenjiazhizhu.html
IT行业新闻

seo发展趋势

seo目前乱象:seo行业入门很低,会电脑就行,这就造成了行业从业人员技术参差不齐。 一、技术好的(至少3年以上SEO经验):接单做排名基本都是比较有保障的,毕竟技术和经验在那摆着呢,但是收费价格相对...
SEO优化

SEO优化怎么做?分享6个小技巧

1. SEO优化技巧之——TDK SEO优化技巧中,TDK书写的是否合理,是影响网站排名的一项重要因素,在优化Seo关键词的时候,一定要注意关键词的相关性。现在搜索引擎已经越来越严格,欺骗式关键词已经...
SEO优化

域名对SEO到底有什么影响?

域名选择在SEO中其实是非常重要的,一个好的域名可以在SEO中起到事半功倍的效果,那么我们做SEO优化应该如何选域名呢? 一般我们选择域名无外乎两种方式,一种是购买老域名,一种是注册新域名; 为什么要...
SEO优化

如何选择合适的网站空间/服务器?

购买空间的时候,最好确保你的空间具备以下功能: 第一:空间的稳定性 假如空间老是打不开,或是打开了马上就出现发展空间错误,这样对用户管理来说是非常不友好的,用户自己以后可以看到中国这样企业网站就不会去...

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定