世界著名搜索公司的爬虫清单
AbachoBOT=Abacho.com
abcdatos_botlink=Abcdatos.com
http://www.abcdatos.com/botlink/=Abcdatos.com
AESOP_com_SpiderMan=Aesop.com
ah-ha.com crawler (crawler@ah-ha.com)=ah-ha.com
ia_archiver=Archive.org
Scooter=Altavista.com
Mercator=Altavista.com
Scooter2_Mercator_3-1.0=Altavista.com
roach.smo.av.com-1.0=Altavista.com
Tv_Merc_resh_26_1_D-1.0=Altavista.com
AltaVista-Intranet=Altavista.co.uk
jan.gelin@av.com=Altavista.co.uk
FAST-WebCrawler=alltheweb.com
crawler@fast.no=alltheweb.com
Acoon Robot=acoon.de
antibot=antisearch.net
Atomz=atomz.com
Buscaplus Robi=buscaplus.com
CanSeek/=canseek.ca
support@canseek.ca=canseek.ca
ChristCRAWLER=christcrawler.com
Crawler=crawler.de
admin@crawler.de=crawler.de
DaAdLe.com ROBOT/=daadle.com
RaBot=daum.net
Agent-admin/=daum.net
phortse@hanmail.net=daum.net
contact/jylee@kies.co.kr=kies.co.kr
DeepIndex=deepindex.com
DittoSpyder=ditto.com
Jack=domanova.co.uk
Speedy Spider=entireweb.com
ArchitextSpider=excite.com
ArchitectSpider=excite.com
Arachnoidea=euroseek.net
arachnoidea@euroseek.net=euroseek.net
EZResult=ezresults.com
Fast PartnerSite Crawler=fastsearch.net
FAST Data Search Crawler=fastsearch.net
KIT-Fireball=fireball.de
FyberSearch=fybersearch.com
GalaxyBot=galaxy.com
- 相关文章
- 搜索引擎优化,通向成功的10步(1-..[12-04]
- 搜索引擎优化,通向成功的10步(3-..[12-04]
- 开展一场专业的搜索引擎优化竞争..[12-04]
- 开展一场专业的搜索引擎优化竞争..[12-04]
- 搜索引擎中的“自动转向”技术[12-04]
- 搜索引擎营销的目标层次及网站优..[12-04]
- 最新文章
- 搜索引擎优化,通向成功的10步(1-..[12-04]
- 搜索引擎优化,通向成功的10步(3-..[12-04]
- 开展一场专业的搜索引擎优化竞争..[12-04]
- 开展一场专业的搜索引擎优化竞争..[12-04]
- 提高链接广泛度的10个简单步骤：..[12-04]
- 提高链接广泛度的10个简单步骤：..[12-04]