有什么方法或者软件工具能批量探测url的有效性

村长 · 发表于 2015-9-15 15:39:28

一次性扫描10来万个url的其中只有一个是非404 其他的全部是404
有什么试用的解决方案吗.IDM的话一次导入过多直接卡掉了

jsenet · 发表于 2015-9-15 15:41:10

python写一个自己定义个你及其能承受的线程数直接10来万个线程肯定吃不消

flydon · 发表于 2015-9-15 15:48:36

[ol]

curl -o /dev/null -s -w %{http_code} $url[/ol]复制代码然后for循环读url 然后打印输出httpcode 或者直接就是httpcode如果是200打印

_jerryjee · 发表于 2015-9-15 17:08:07

shell脚本速度更快吧。

holinhot · 发表于 2015-9-15 20:20:27

写个脚本跑起来

		自动登录	找回密码
密码			立即注册