外墙保温装饰板厂家
免费服务热线

Free service

hotline

010-00000000
外墙保温装饰板厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

自己分析网站日志出现的9种蜘蛛

发布时间:2020-06-28 11:17:28 阅读: 来源:外墙保温装饰板厂家

这是我在空间IIS日志上分析出来的各大搜索引擎的蜘蛛名称

可能大家除第一个都常常见。

gabot/3.0+(gigablast/spider) 这个搜索了一下,好像是Gigabot搜索引擎爬虫。已被google收购了吗?

2.(patible;+MSIE+7.0;+Windows+NT+5.1;++Embedded+Web+Browser+from:+bsalsa/;+Mozilla/4.0(Compatible+Mozilla/4.0(Compatible-EmbeddedWB+14.59+bsalsa/+EmbeddedWB-+14.59++from:+bsalsa/+;+.NET+CLR+1.1.4322)

这个我一开始以为是蜘蛛,查询了以后,有人说是bsalsa开发WINDOWS平台上DELPHI相干软件的,Win主机都会有记录的,不知那位能给解释一下。

zilla/5.0+(patible;+YodaoBot/1.0;+yodao/help/webmaster/spider/;+)

这个是网易的有道机器人了,不看见日志,我还想不起有道搜索呢。

gou+web+spider/4.0(+sogou/docs/help/webmasters#07)

这是搜狗的蜘蛛了,每天都扫描我网站(aistxt)几百次,抓了2438 个网页

,每天带来的IP平均是3个。SouGou Rank值也不算很低,刚到的43。

扫描量很大,对动态链接网站负担很大。

skspider/2.0(+iask/help/help_index)

Mozilla/5.0 (patible; iaskspider/1.0; MSIE 6.0)

新浪爱问爬虫 和搜狗差不多,没什么意义。

zilla/5.0+(patible;+Yahoo!+Slurp+China;+hoo/help)

这个是中文雅虎,下面的是美国总部的爬虫

hoo/help/us/ysearch/slurp)

diapartners-Google 这个是GG点击广告爬虫

下面的才是主角Google爬虫

zilla/5.0+(patible;+Googlebot/2.1;++google/bot)

iduspider+(+baidu/search/spider)

最后一个是让我最头疼的,每天首页都访问几十次,但内页很少访问。

有人分析说是百度算法问题,致使百度爬虫对相同页面会屡次发出要求(尤其是首页)。

10.未在日志上发现的蜘蛛:MSN爬虫 和Alexa排名爬虫

微软是不是已放弃搜索项目了?

ve

这个网址已经打不开了,出现的是中国网通提示不存在的网址有点让人吃惊.

至于Alexa排名爬虫,我的网站排名还不够,人家是自然不回来的了。

最简单的减肥方法

最简单的减肥方法

希爱力双效片的最佳服用时间