常常听见网站站长们问,百度爬虫是啥?近期百度爬虫来的太经常网络服务器抓爆掉,近期百度爬虫都不来了该怎么办,也有许多 网站想要百度爬虫的IP段,想把IP添加授权管理,但IP不固定不动,我们无法对外开放发布。那怎样辨别真假百度搜索百度搜索引擎搜索引擎蜘蛛呢?来吧来吧,只需二步,教你恰当鉴别百度爬虫!
第一、查询UA
假如UA也不对,能够断定非网页搜索的搜索引擎蜘蛛,现阶段对外开放发布过的UA是:
挪动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; )
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; )
增加3D渲染UA:
挪动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; )
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; )
第二、查取IP
网站站长能够根据DNS查取IP的方法分辨某只spider是不是来源于百度搜索百度搜索引擎。依据服务平台不一样认证方式不一样,如linux/windows/os三种服务平台下的认证方式各自以下:
1)、在linux服务平台下,您能够应用host ip命令反解ip来分辨是不是来源于Baiduspider的爬取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。
2)、在windows服务平台或是IBM OS/2服务平台下,您能够应用nslookup ip命令反解ip来 分辨是不是来源于Baiduspider的爬取。开启指令CPU 键入nslookup xxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来分辨是不是来源于Baiduspider的爬取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。