wordpress屏蔽蜘蛛重复抓取之robots设置
最近郑州SEO博客一直不断的更换主题,每个主题的设置都不一样，导致很多页面被重复抓取了，为了以后避免这种情况就用robots.txt设置了一下，有关这样的问题也有朋友问过我，我只说了用robots.txt屏蔽，没有具体的说设置，其实至于WORDPRESS的ROBOTS设置在网上搜索一下很多，自己搜索一下就行了。闲话不扯了，为了以后再有朋友问，就在这里说一下设置，有关ROBOTS的解释就不说了，直接上代码：
WORDPRESS官方标准的robots代码如下：
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /author/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: / Sitemap: http://www.example.com/sitemap.xml
自己根据以上的代码修改就行了，*号是通配符，学会灵活运用就行了。再有注意一点的是你的网址是不是设置的固定地址。
转载请注明: wordpress屏蔽蜘蛛重复抓取之robots设置 | CMS酷
标签: robots, WordPress
KK娱乐城:
增高药:
名人名言大全:
www.073456.com:
路过，感觉你写的不错，所以留下自己的脚印
回复是美德
不错。学习了~我要用到我的机子上去~