有什么办法 不让网站 被各大搜索引擎收录

醉里耍大刀

以lnmp为例，在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件，输入以下代码：
[ol]

if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {

return 403;

}[/ol]复制代码
然后重启nginx生效，能不让搜索引擎收录，但是我的网站还是被墙了

Rabbey

设置网站访问密码

kaivps代理

垃圾域名就不会被收录，TK、ML这些

十十

dvbhack 发表于 2017-8-19 19:23

就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎 ...
google就帶頭不遵守

Tran

屏蔽了还是会收录 比如你在百度搜索淘宝网那种效果，最好的是直接屏蔽搜索引擎的ip地址

kyotrue

你需要按照防采集的思路防搜索引擎屏蔽蜘蛛ip

njav

设置个401认证