wordpress的robots.txt文件怎么写?

作者: 郑元水 分类: Wordpress 发布时间: 2012-04-13 08:20 ė 11,740 6 4条评论

robots.txt是搜索引擎来到我们网站第一个看到的文件,通过这个文件可以告诉搜索引擎我们空间里什么文件可以被搜索引擎抓取,正确的写robots.txt,能够很好的有利于网站的SEO优化。下面是我在自己的泰安SEO博客里添加的robots.txt写法(仅供参考)

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

使用说明:允许所有蜘蛛访问,拒绝抓取以“wp-”开头的目录及文件,拒绝抓取.php文件,.inc文件,.js文件,css文件拒绝抓取搜索结果.

同样robots.txt也可以这样写:

User-agent: *
Disallow:

使用说明:允许所有蜘蛛访问,允许访问所有内容.wordpress模板链接设计合理的推荐用这种写法.

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。robots.txt文件的格式

User-agent: 定义搜索引擎的类型

Disallow: 定义禁止搜索引擎收录的地址

Allow: 定义允许搜索引擎收录的地址

robots.txt的使用技巧和使用误区参考 http://baike.baidu.com/view/1280732.htm

本文出自郑元水博客,转载时请注明出处及相应链接。

本文永久链接: http://www.zhengyuanshui.com/48.html

4条评论

  1. 妹妹坐床头 2015年11月30日 15:36 回复

    加油啊!!!!顶哦!!!!!

  2. 康琳琳 2016年1月9日 20:36 回复

    我是来打酱油的

  3. 韩懿莹 2016年1月22日 12:31 回复

    大家好好讨论一下,真不错

  4. 康可紫 2016年1月28日 05:00 回复

    大家顶啊,这么好的文章,博主辛苦了

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.

微信扫一扫,添加150505055

郑元水