Polymer_dg
发表于 2017-8-19 19:14:58
有什么办法 不让网站 被各大搜索引擎收录
除了去 暗网
余晖脉脉
发表于 2017-8-19 19:15:35
全站必须登录才能访问就是
萌䒤萌
发表于 2017-8-19 19:19:12
设置Robot.txt是可以的。。。
leaveoff
发表于 2017-8-19 19:19:29
余晖脉脉 发表于 2017-8-19 19:19
还是会收录登陆页面
020.gif
余晖脉脉
发表于 2017-8-19 19:19:42
robost.txt?
萌䒤萌
发表于 2017-8-19 19:20:55
我记得meta头部信息也可以设置好像
sky170
发表于 2017-8-19 19:19:00
robost.txt加上nginx判断一下蜘蛛的ua
sky170
发表于 2017-8-19 19:21:30
就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎头部返回500状态
hdown
发表于 2017-8-19 19:21:50
用这个 http://tool.chinaz.com/robots/
dvbhack余晖脉脉
发表于 2017-8-19 19:23:23
CC策略屏蔽引擎