常见的几大搜索引擎蜘蛛

作者: 郑元水 分类: SEO知识 发布时间: 2013-01-29 16:06 ė 11,585 6 4条评论

搜索引擎收录网站是通过各自的搜索引擎蜘蛛来抓取网站的内容。搜索引擎蜘蛛就是我们常说的网站机器人,它是搜索引擎里最勤奋的--不吃饭,不睡觉,没日没夜的在互联网上抓取各大网站的内容。做为一个站长,我们应该对各种搜索引擎蜘蛛有一个简单的了解

搜索引擎蜘蛛

Google搜索的蜘蛛: Googlebot

百度搜索的蜘蛛:Baiduspider

360搜索蜘蛛:360Spider

有道搜索蜘蛛:YoudaoBot

Soso蜘蛛:Sosospider

Sogou蜘蛛:Sogou spider

Yahoo搜索的蜘蛛:Yahoo Slurp

Bing搜索的蜘蛛:Msnbot

了解这些,一是为了在查看网站日志时能够知道哪种搜索引擎来过自己的网站,同时在网站里的robots.txt中也可以禁止搜索引擎的抓取。比如:某个站点想禁止百度搜索引擎抓取,那么其网站的robots.txt可以写成
User-agent: Baiduspider
Disallow: /

淘宝禁止百度抓取就是利用的robots.txt来屏蔽的,

具体参考:http://www.taobao.com/robots.txt

本文出自郑元水博客,转载时请注明出处及相应链接。

本文永久链接: http://www.zhengyuanshui.com/385.html

4条评论

  1. 网上买彩票 2013年2月1日 10:07 回复

    seo行业就是蜘蛛侠联盟

  2. 邓纠腺91 2015年10月30日 10:15 回复

    回复一下吧

  3. 韩懿莹 2016年1月23日 09:44 回复

    的确好文章,推荐加精华

  4. 张熙珍 2016年1月25日 00:32 回复

    请博主继续发好贴,支持你

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.

微信扫一扫,添加150505055

郑元水