如何准确辨别百度蜘蛛的真实IP和身份？
- 内容介绍
- 文章标签
- 相关推荐
如果UA信息不对,可以直接判断为非百度搜索的蜘蛛.开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索...
一、查看UA。识别百度蜘蛛的真实身份
百度蜘蛛的UA包括移动和PC版本,而通过DNS反查IP,可以在不同操作程序下使用host、nslookup或dig命令来确认其hostname是否以*.baidu.com或*.baidu.jp,从而辨别真伪。
BaiduSpider_UA.txt：
baiduspider+\+\/\+\/\+\/?)，baiduspider+\+)?\+\+，)?baiduspider_)?_)，_(.+?baiduspider_)?_(.+，baiduspider__{1,2}\.{1,2}\.{1,2}\.{1。 baiduspider__{1,2}\.{1,BaidSpd-|$)))?BIDSPIDER-|$))(?:\\(.*，
We可以通过dos命令来查看，我们来找两个IP段220.181.108.140和117.28.255.37，开始—运行—输入 cmd，用命令nslookup +ip 看截图 只要是百度的IP段，代码中会有出现：name：Baiduspider，如果没有出现。
如果UA信息不对,可以直接判断为非百度搜索的蜘蛛.开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索...
一、查看UA。识别百度蜘蛛的真实身份
百度蜘蛛的UA包括移动和PC版本,而通过DNS反查IP,可以在不同操作程序下使用host、nslookup或dig命令来确认其hostname是否以*.baidu.com或*.baidu.jp,从而辨别真伪。
BaiduSpider_UA.txt：
baiduspider+\+\/\+\/\+\/?)，baiduspider+\+)?\+\+，)?baiduspider_)?_)，_(.+?baiduspider_)?_(.+，baiduspider__{1,2}\.{1,2}\.{1,2}\.{1。 baiduspider__{1,2}\.{1,BaidSpd-|$)))?BIDSPIDER-|$))(?:\\(.*，
We可以通过dos命令来查看，我们来找两个IP段220.181.108.140和117.28.255.37，开始—运行—输入 cmd，用命令nslookup +ip 看截图 只要是百度的IP段，代码中会有出现：name：Baiduspider，如果没有出现。