|
发表于 2011-11-2 18:07:58
|
显示全部楼层
原帖由 Kokgog 于 2011-11-2 18:07 发表

7,8年前有篇文章,说受限于之前的硬件条件和算法情况,蜘蛛很容易在爬动态站爬成死循环,所以就像语言对于递归总会设置一个stack一样,爬虫对于动态页面也存在一定的stack,到一定程度就不跟上去了,事实上当时那篇文章出来的时 ...
同意,现在的爬虫这点能力还是有的。以前会爬死循环,是不是因为爬虫会自己循环参数,比如id,爬到1,自己就1,2,3,4下去了。。。感觉能爬死循环也是蛮奇怪的。。。 |
|