醉里耍大刀 发表于 2017-8-19 19:24:17

以lnmp为例，在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件，输入以下代码：
[*]if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
[*]return 403;
[*]}复制代码
然后重启nginx生效，能不让搜索引擎收录，但是我的网站还是被墙了

Rabbey 发表于 2017-8-19 19:44:40

设置网站访问密码

kaivps代理 发表于 2017-8-19 19:46:20

垃圾域名就不会被收录，TK、ML这些

十十 发表于 2017-8-19 19:47:01


dvbhack 发表于 2017-8-19 19:23

就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎 ...
google就帶頭不遵守

Tran 发表于 2017-8-19 19:50:36

屏蔽了还是会收录 比如你在百度搜索淘宝网那种效果，最好的是直接屏蔽搜索引擎的ip地址

kyotrue 发表于 2017-8-19 21:10:25

你需要按照防采集的思路防搜索引擎屏蔽蜘蛛ip

njav 发表于 2017-8-19 23:26:05

设置个401认证
页: 1 [2]
查看完整版本: 有什么办法 不让网站 被各大搜索引擎收录