会翻车吗 发表于 2019-4-1 18:31:30

怎样禁止所有搜索引擎收录所有页面

robots.txt应该怎么写，求教~~~

小混混 发表于 2019-4-1 18:35:56

User-agent:*　　Disallow:/*

学到了么 发表于 2019-4-1 18:31:54

**********************

robot 发表于 2019-4-1 18:37:41

拦截所有的机器人：

User-agent: *
Disallow: /

无视robots.txt的爬虫例外

hxuf 发表于 2019-4-1 18:39:45

禁止不了 Nginx里阻止bot访问即可。

虚心学习 发表于 2019-4-1 19:23:41

站长工具
页: [1]
查看完整版本: 怎样禁止所有搜索引擎收录所有页面