网站怎样才能不被搜索引擎收录

yumijie · 发表于 2017-7-19 17:53:34

用robot.txt最好的结果也会被收录首页,想禁止一切搜索引擎收录,连首页也不能,怎么才能做到?

搭建暗网的话普通浏览器又不能访问,有什么好方法,请高手能赐教!!!

shazhumaiyou · 发表于 2017-7-19 22:37:37

               if ($http_user_agent ~* (baiduspider|soso|sogou|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
      return 403;
      }

萌䒤萌 · 发表于 2017-7-19 17:54:46

不用域名啊，ip 默认网站弄成404，用本地hosts访问

yumijie · 发表于 2017-7-19 17:57:34

萌䒤萌发表于 2017-7-19 17:54

不用域名啊，ip 默认网站弄成404，用本地hosts访问
能具体点吗?貌似这样也会收录首页吧

萌䒤萌 · 发表于 2017-7-19 17:54:00

yumijie 发表于 2017-7-19 17:57

能具体点吗?貌似这样也会收录首页吧
比如用lnmp的话，默认打开Ip 是一个网站，这里不管，直接添加虚拟主机，域名可以随便弄，比如baidu.com
你本机上修改Hosts文件，把baidu.com 指向你的IP就可以访问，而别人不知道你的域名是什么，也不会去修改Hosts

zdszf · 发表于 2017-7-19 18:02:28

VPS搭建基于zeronet的网站，会不会被收录

萌䒤萌 · 发表于 2017-7-19 17:57:00

zdszf 发表于 2017-7-19 18:14

VPS搭建基于zeronet的网站，会不会被收录
zeronet就无所谓搭建在哪了吧

hmy111 · 发表于 2017-7-19 18:14:52

关注这个马克一下

醉里耍大刀 · 发表于 2017-7-19 18:18:37

nginx设置需要登录访问就可以了

oskey · 发表于 2017-7-19 18:14:00

屏蔽蜘蛛，截取蜘蛛转发出去。我瞎说的

		自动登录	找回密码
密码			立即注册

网站怎样才能不被搜索引擎收录

浏览过的版块