通过nginx禁止搜索引擎抓取和收录(亲测有效)

  有时候我们会遇到这样的需求:不要让这个网站被收录。禁止收录?好像并没有那么简单,尤其是当网站内容优质时,搜索引擎很难“收”下留情。我最先想到的办法是通过<meta>标签禁止搜索引擎索引,或是robots.txt更精确的规定搜索引擎索引内容。

通过<meta>标签实现禁止搜索引擎索引:

1
2
3
<meta name="robots" content="noindex"> //禁止所有搜索引擎索引
<meta name="googlebot" content="noindex"> //禁止google索引
<meta name="BaiduSpider" content="noindex"> //禁止百度索引
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×