最近有很大用户问上线网站一直没有被百度搜索引擎 ,当然网站没有收录原因有很大 ,比如域名是否有历史被黑记录,比如网站更新的内容质量等等,当不管什么原因 ,都离不开是否有搜索引擎的爬虫蜘蛛来光顾你的站点,如果有真实的爬虫来光顾你的站点,那你的网站就离收录不远了 ,你唯一做的就是做好站点高质量内容更新 。可能有人注意到,这里提到真实蜘蛛,是的 ,既然有真实,那自然就会有假蜘蛛,那如何来辨别 ,下面我们就来看下:

第一步:

下载你网站的日志文件,通过在线或者日志分析软件做爬虫分析(比如日志在线分析站点:http://www.loghao.com),分析之后如图:

技术篇:网站不收录搜索引擎来真假蜘蛛判断

大家可以看到返回的ip地址:220.181.108.171

第二部:

运行电脑的cmd ,进入dos ,输入nslookup 220.181.108.171 会看到一个返回结果:

技术篇:网站不收录搜索引擎来真假蜘蛛判断

显示返回结果成功,说明这个百度蜘蛛IP是真实的,也就说光顾我们站点的蜘蛛是有效的;

看到这里 ,我们来看下一个用户站点的蜘蛛ip的情况:

技术篇:网站不收录搜索引擎来真假蜘蛛判断

可以看到,日志分析返回的ip是:223.104.64.15 还有 49.95.77.225 等,那我们就来dos一下 ,看结果:

技术篇:网站不收录搜索引擎来真假蜘蛛判断

从结果看出,返回的结果都是找不到,说明这个用户的站点过来的蜘蛛就是假的 ,有可能是收到了别人的爬取攻击,这个时候站长就要注意自查自己站点了 。

本文版权归趣快排www.sEoguruBlog.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系QQ✈61910465