设为首页收藏本站

全球主机交流论坛»论坛 › 主机综合交流 › 美国VPS综合讨论 › 怎样禁止所有搜索引擎收录所有页面

返回列表发新帖

查看: 33|回复: 5

怎样禁止所有搜索引擎收录所有页面

178 主题	166 回帖	902 积分

积分: 902

发消息

发表于 2019-4-1 18:31:30 | 显示全部楼层 |阅读模式

robots.txt应该怎么写，求教~~~

回复

使用道具举报

31 主题	751 回帖	1661 积分

积分: 1661

发消息

发表于 2019-4-1 18:35:56 | 显示全部楼层

User-agent:*　　Disallow:/*

回复

使用道具举报

154 主题	658 回帖	1816 积分

积分: 1816

发消息

发表于 2019-4-1 18:31:54 | 显示全部楼层

**********************

回复

使用道具举报

47 主题	674 回帖	1507 积分

积分: 1507

发消息

发表于 2019-4-1 18:37:41 | 显示全部楼层

拦截所有的机器人：

User-agent: *
Disallow: /

无视robots.txt的爬虫例外

回复

使用道具举报

332 主题	1万回帖	2万积分

积分: 25534

发消息

发表于 2019-4-1 18:39:45 | 显示全部楼层

禁止不了 Nginx里阻止bot访问即可。

回复

使用道具举报

10 主题	2495 回帖	5046 积分

积分: 5046

发消息

发表于 2019-4-1 19:23:41 | 显示全部楼层

站长工具

回复

使用道具举报

返回列表发新帖

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-4-22 02:53 , Processed in 0.017052 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表