当前分类:天下杂言

如何判断百度蜘蛛,百度蜘蛛知多少?

首先,站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,linux/windows/os三种平台下的验证方法分别如下:


1
在linux平台下
使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2
在windows平台或IBM OS/2平台下
使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。

打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取。

Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3
在mac os平台下
使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。

打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取。

Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
Baiduspider IP是多少
即便很多站长知道了如何判断百度蜘蛛,仍然会不断地问“百度蜘蛛IP是多少”。我们理解站长的意思,是想将百度蜘蛛所在IP加入白名单,只准白名单下IP对网站进行抓取,避免被采集等行为。

但我们不建议站长这样做。虽然百度蜘蛛的确有一个IP池,真实IP在这个IP池内切换,但是我们无法保证这个IP池整体不会发生变化。所以,我们建议站长勤看日志,发现恶意蜘蛛后放入黑名单,以保证百度的正常抓取。

同时,我们再次强调,通过IP来分辨百度蜘蛛的属性是非常可笑的事情,所谓的“沙盒蜘蛛”“降权蜘蛛”等等是从来都不存在的。


相关文章: