共计 1156 个字符，预计需要花费 3 分钟才能阅读完成。
最近有朋友询问：用谷歌 site 你的站发现 Google 没收录你的 tag 页，我的怎么？有还大部分是？站长认为，很多新手估计都不明其中的道理，索性就写篇文章吧。
1. 为什么 Google 没收录 tag 标签页
其实站长使用的是 Robots.txt 限制收录，关于 Robots.txt，请看《Robots.txt 是什么 / 有什么用 / 怎么写》。你也可以直接查看站长的自留地 的 Robots.txt：https://www.cmhello.com/robots.txt
注意：
1. 由于我自己对 Robots.txt 不熟悉，所以下面的规则很不规范，也不精简，甚至有错误，如果你看出了错误的地方，希望能指点一下站长，感激不尽。
2. 每个人的链接样式都不一样，不要复制我的 Robots.txt，否则后果自负 哦
从我的 robots.txt 应该可以看出来，我禁止所有的搜索引擎收录 tags、分类、评论、feed 等多种页面类型，所以搜索引擎就会不收录这些页面，并且逐渐去除上面禁止类型的文章，如下图
很明显的是 百度在 3 月 8 日的结果中已经基本把我所有的 tag 和分类页 去除了，Google 目前还没有完全去除(只是把 tag 和分类页收录结果放到了最后面的几页)，细心的你可以 site 一下我的站就知道了。
2. 该禁止收录哪些页面类型
要知道那些页面该禁止，推荐使用 Google 网站管理员工具，这是一个非常好的工具，如果你还没有使用，那赶紧用吧。
注意：站长禁止搜索引擎收录 tags 和分类页，仅仅是 SEO 测试，请不要一味跟随，否则一切后果自负。
(1)WordPress 通常需要禁止收录的页面，请参考 万戈 老大的写法：http://wange.im/robots.txt
(2)你也可以按规则添加不希望收录的页面，这里还可以通过 Google 网站管理员工具 的【抓取错误】查看【找不到】和【无法访问】的页面：
3. 如何让搜索引擎去除已收录文章
将上图那些【找不到】页面写进 robots.txt，提示搜索引擎去除收录。接着，你还可以在【网站配置】>【抓取工具权限】>【删除网址】> 添加上面【找不到】的网址，提交删除申请，这样 google 就会处理的。
注：由上图你还可以看到，可以【测试 robots.txt】和【生成 robots.txt】
小 结
通过 robots.txt 可以很方便禁止搜索引擎收录，也可以去除已收录文章，但是写 robots.txt 的时候一定要注意细节，要记得使用 Google 网站管理员工具 检测 robots.txt 是否正确有效。今天就说到这里吧，不懂的可以留言，建议多 google 一下。
强烈推荐大家看看这个视频：站长的哪些操作会导致降权和被 K
PS：如果本文有哪些地方说的不对，希望大家能及时指正；如果你知道更多关于 robots.txt 和 Google 网站管理员工具 的技巧，欢迎投稿分享，谢谢。
