设为首页收藏本站

全球主机交流论坛»论坛 › 主机综合交流 › 美国VPS综合讨论 › 万能的loc帮我写个robots.txt 吧

返回列表发新帖

查看: 94|回复: 9

万能的loc帮我写个robots.txt 吧

闲推月下门

32 主题	694 回帖	1516 积分

积分: 1516

发消息

发表于 2012-10-3 11:26:40 | 显示全部楼层 |阅读模式

robots.txt
想要屏蔽所有 view-XXXXXXXXX.html 的页面被爬，怎么写？
求助

不是要屏目录的
www.xxx.com/view-XXXXXXXXX.html
XXX指任意字符，屏所有这类特征的链接

回复

使用道具举报

7 主题	420 回帖	875 积分

积分: 875

发消息

发表于 2012-10-3 11:30:06 | 显示全部楼层

User-Agent: *
Disallow:/view-?.html

回复

使用道具举报

49 主题	487 回帖	1145 积分

积分: 1145

发消息

发表于 2012-10-3 11:34:19 | 显示全部楼层

http://tool.chinaz.com/robots/

回复

使用道具举报

258 主题	2551 回帖	5896 积分

积分: 5896

发消息

发表于 2012-10-3 11:37:14 | 显示全部楼层

楼主也是QQ秀？

回复

使用道具举报

1 主题	369 回帖	751 积分

积分: 751

发消息

发表于 2012-10-3 11:37:42 | 显示全部楼层

GG的管理员工具里不是有？

回复

使用道具举报

36 主题	1402 回帖	2938 积分

积分: 2938

发消息

发表于 2012-10-3 11:38:44 | 显示全部楼层

User-Agent: *
Disallow:/view-?.html
同二楼

回复

使用道具举报

闲推月下门

32 主题	694 回帖	1516 积分

积分: 1516

发消息

楼主| 发表于 2012-10-3 11:42:47 | 显示全部楼层

看来2楼应该是正解了

回复

使用道具举报

100 主题	765 回帖	1858 积分

积分: 1858

发消息

发表于 2012-10-3 11:48:40 | 显示全部楼层

2楼。

回复

使用道具举报

33 主题	935 回帖	1991 积分

积分: 1991

发消息

发表于 2012-10-3 12:04:50 | 显示全部楼层

楼上都已经解答了~

回复

使用道具举报

森林啪啪啪啪啪

0 主题	1 回帖	4 积分

积分: 4

发消息

发表于 2012-10-3 12:29:27 | 显示全部楼层

2L

回复

使用道具举报

返回列表发新帖

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-1-11 18:05 , Processed in 0.021615 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表