最近在干SEO项目，有两个需求如下：

项目一：SEO优化，这个好理解吧，按照常识就是让搜索引擎更多的收录它，更友好的爬取它。

项目二：SEO屏蔽，也就是反爬虫的项目，这个项目项目是运维一个密保级别更高的网站，要求屏蔽网站搜索引擎。按照常识，SEO优化都是提升流量的，今天也是头一次遇到要减少流量的，原因为啥我不告诉你。

今天重点说下项目二。网站使用是wordpress搭建，同时也查了一下搜索引擎robots协议。

一、robots协议

如果想要禁止所有的搜索引擎抓取网站内容，可以在robots.txt文件中添加如下内容：

User-agent:*

Disallow:/

这样，所有搜索引擎都将无法抓取该网站的任何内容。

robots.txt文件的注意事项

robots.txt文件必须放在网站的根目录下。

robots.txt文件对于恶意爬虫是无效的。

robots.txt文件只能控制爬虫是否抓取页面，但不能控制页面是否被收录。

二、wordpress禁用爬取

登录wordpress管理后台，选择设置，选择阅读，阅读设置里面，最下面就是对搜索引擎可见性，勾上就起作用了。

Views: 81