有什么办法不让网站被各大搜索引擎收录

Polymer_dg · 发表于 2017-8-19 19:14:58

除了去暗网

余晖脉脉 · 发表于 2017-8-19 19:15:35

全站必须登录才能访问就是

萌䒤萌 · 发表于 2017-8-19 19:19:12

设置Robot.txt是可以的。。。

leaveoff · 发表于 2017-8-19 19:19:29

余晖脉脉发表于 2017-8-19 19:19

还是会收录登陆页面

余晖脉脉 · 发表于 2017-8-19 19:19:42

robost.txt?

萌䒤萌 · 发表于 2017-8-19 19:20:55

我记得meta头部信息也可以设置好像

sky170 · 发表于 2017-8-19 19:19:00

robost.txt加上nginx判断一下蜘蛛的ua

sky170 · 发表于 2017-8-19 19:21:30

就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎头部返回500状态

hdown · 发表于 2017-8-19 19:21:50

用这个 http://tool.chinaz.com/robots/

dvbhack余晖脉脉 · 发表于 2017-8-19 19:23:23

CC策略屏蔽引擎

		自动登录	找回密码
密码			立即注册

有什么办法 不让网站 被各大搜索引擎收录