󰅡收起

郑元水博客

记录自己的成长之路。微信/QQ:150505055

29
一月

常见的几大搜索引擎蜘蛛

作者: 郑元水
分类: SEO知识
发布时间: 2013-01-29 16:06

搜索引擎收录网站是通过各自的搜索引擎蜘蛛来抓取网站的内容。搜索引擎蜘蛛就是我们常说的网站机器人,它是搜索引擎里最勤奋的--不吃饭,不睡觉,没日没夜的在互联网上抓取各大网站的内容。做为一个站长,我们应该对各种搜索引擎蜘蛛有一个简单的了解

搜索引擎蜘蛛

Google搜索的蜘蛛: Googlebot

百度搜索的蜘蛛:Baiduspider

360搜索蜘蛛:360Spider

有道搜索蜘蛛:YoudaoBot

Soso蜘蛛:Sosospider

Sogou蜘蛛:Sogou spider

Yahoo搜索的蜘蛛:Yahoo Slurp

Bing搜索的蜘蛛:Msnbot

了解这些,一是为了在查看网站日志时能够知道哪种搜索引擎来过自己的网站,同时在网站里的robots.txt中也可以禁止搜索引擎的抓取。比如:某个站点想禁止百度搜索引擎抓取,那么其网站的robots.txt可以写成
User-agent: Baiduspider
Disallow: /

淘宝禁止百度抓取就是利用的robots.txt来屏蔽的,

具体参考:http://www.taobao.com/robots.txt

本文出自 郑元水博客 ,转载时请注明出处及相应链接。

本文永久链接: http://www.zhengyuanshui.com/385.html

4条评论

  1. 网上买彩票 2013年2月1日 10:07 回复

    seo行业就是蜘蛛侠联盟

  2. 邓纠腺91 2015年10月30日 10:15 回复

    回复一下吧

  3. 韩懿莹 2016年1月23日 09:44 回复

    的确好文章,推荐加精华

  4. 张熙珍 2016年1月25日 00:32 回复

    请博主继续发好贴,支持你

发表评论

电子邮件地址不会被公开。 必填项已用*标注

代码在页面底部,统计标识不会显示,但不影响统计效果