wordpress默认的robots文件是不利于SEO的！ 首先要屏蔽author文件！ 另外也可以根据自己的需要屏蔽一些自己不想被收录的，或者会被重复收录的内容！
User-agent: *Disallow: /wp-admin/
Disallow: /author*
Disallow: /go*
Disallow:/*?*
二、robots.txt的写法与步骤
1、定义搜索引擎
用User-agent：来定义搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。
也就是说User-agent：*表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。
2、禁止与允许访问
Disallow: /表示禁止访问，Allow: /表示允许访问。
在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。
3、禁止搜索引擎访问网站中的某几个文件夹，以a、b、c为例，写法分别如下：
Disallow: /a/
Disallow: /b/
Disallow: /c/
3、禁止搜索引擎访问文件夹中的某一类文件，以a文件夹中的js文件为例，写法如下：
Disallow: /a/*.js
4、只允许某个搜索引擎访问，以Baiduspider为例，写法如下：
User-agent: Baiduspider
Disallow:
5、禁止访问网站中的动态页面
User-agent: *
Disallow: /*?*
6、只允许搜索引擎访问某类文件，以htm为例，写法如下：
User-agent: *
Allow: .htm$
Disallow: /
7、禁止某个搜索引擎抓取网站上的所有图片，以Baiduspider为例，写法如下：
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
三、robots.txt文件存放位置
robots.txt文件存放在网站根目录下，并且文件名所有字母都必须小写。
四、特别注意事项
在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写，后面的字母小写，而且在:后面必须带一个英文字符下的空格。
