Nutch Crawler是否应该屏蔽？

9 主题	54 回帖	147 积分

发表于 2012-10-31 07:34:56 | 显示全部楼层 |阅读模式

前几天看到网站日志中有UA为"Nutch/Nutch-2.0 (Nutch Crawler)"，google了一下，Nutch Crawler是个开源的搜索引擎，这个东东不是用来采集的吧？

GMT+8, 2025-1-11 19:58 , Processed in 0.015113 second(s), 3 queries , Gzip On, Redis On.

		自动登录	找回密码
密码			立即注册