网站在上线时和网站改版时都需要查看网站日志，我个人也不例外。昨天偶然间发现网站日志中百度蜘蛛有很多301重定向，基本上都是feed页面造成的。本来想着重新做一个zblog程序的博客，但心里还是不甘心，不想就这样草草的放弃。最终我选择用robots文件把有关feed的网站文件全部屏蔽掉，这样就很方便了解决了301重定向的问题。
关于robots文件，其实很多新手站长也像我一样不会使用，大多数都没有认真去写过，今天就给大家介绍一下非常有利于优化的wordpress程序网站robots写法。 特别注意robots文件要放在网站的根目录而不能放在网站子目录，像https://www.huashunliangye.com/zlk/robots.txt文件一样。另外robots文件主要作用是屏蔽搜索引擎蜘蛛的抓取和收录，通过robots文件告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
wordpress程序安装完成以后会生成默认的robots文件，但写法特别简单，不足以满足站长的需求。
默认robots文件的规则写的非常简单，主要是告诉搜索引擎不要抓取后台程序和文件的页面。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
比较完整的wordpress程序robots写法，需要屏蔽以下几种页面。
1.禁止搜索引擎抓取评论分页等相关文章。
2.禁止搜索引擎抓取文章分类分页和标签分类页面。
3.禁止搜索引擎抓取收录trackback等垃圾信息。
4.禁止搜索引擎抓取收录feed链接。
5.禁止搜索抓取动态页面。
6.禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
7.禁止搜索引擎抓取站内搜索结果。
8.允许搜索引擎抓取网站地图。
完整的robots文件写法如下：
User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /attachment/ Sitemap: https://www.huashunliangye.com/zlk/sitemap.xml
当然大家也可以根据自身网站的情况对网站目录进行屏蔽和允许收录。
推荐阅读：
新版WordPress内链自动添加rel=”noopener noreferrer”的解决办法
