爬虫需要稳定的代理，请大家支支招，谢谢了

im_v_v

我主要用于爬取一些wiki 和 国内的一些论坛，不是攻击。但是这些论坛都限制同一ip，在时间内访问次数。

所以，我想到，可能需要大量的代理，而“代理中国”提供的那些代理很不稳定。所以我想自己搞一点。

请问，从国外的BURST类似的ips，买vps，在加上一些固定ip，譬如100个ip，能解决我的需求吗？我该如何操作？

请大家帮我提供一些解决方案吧。谢谢。

另外，我朋友能提供一个服务器暂用，光纤4兆，4个固定ip，但是用了一个dlink的小型路由器，服务器在内网，用NAT，我看样子好像只能用1个ip，剩下的3个改怎么样利用呢？

就是4个ip都用上？我不太熟悉网络，谢谢各位了。

[ 本帖最后由 im_v_v 于 2010-4-2 11:18 编辑 ]

cpuer

思路上没有问题

wzwen

要求高……

Administrator

原帖由 cpuer 于 2010-4-2 11:17 发表


思路上没有问题

cpuer老大，我该如何操作呢？譬如我现在4个ip，一条光纤，在内网的情况，我的路由器好像不支持动态nat。我想做软路由，请提供一个方案吧？什么环境+什么软路由，谢谢老大。

im_v_v

原帖由 Administrator 于 2010-4-2 11:20 发表


具体是什么程序？是否需要登录目标站点？


就是自己写的一个小爬虫，垂直某个行业网站，不需要登录站点，也许会有，但是只是ip变化就行了。

im_v_v

原帖由 Administrator 于 2010-4-2 11:24 发表


晕倒，自己写的程序完全可以通过代理IP去获取内容。

我现在是爬一些类似”代理中国”网站上的 提供的免费 代理，有匿名的。但是不稳定。而且量太少。一会就不能用了。
所以，我感觉有点不够用。想花点钱，求个稳，呵呵。

而国内的ip太贵了，200一个月，所以打算从国外找。

麻烦兄弟给我说说，我一条光纤，4个ip，我该怎么部署？原帖由 Administrator 于 2010-4-2 11:26 发表


用代理速度可能会慢些。
PHP和PYTHON都可以都可以指定出口IP，如果不考虑成本的话，可以用大量的本机IP。

恩，程序上没问题，主要是有稳定的代理。哎，本机ip，太贵了

Administrator

原帖由 Administrator 于 2010-4-2 11:28 发表


原来OVH的一台机器，256个IP，而且可以分到不同网段



是vps还是租一台整机？价格大概多少呢？

im_v_v

这么贵啊，我一个哥们告诉我，买BURST的vps  和 250ip，一个月大概100多美刀。流量是4t，出口100m。貌似是这样。

是这样吗？

Administrator

我顶，各位都吃饭去了吗

im_v_v

现在Burst.net分配/24 (253个可用IP) 要求很严格的，不容易。