纯干货分享，抓取博客（理论上所有网站）友情链接

chairo

不到120行代码，Python写的。需要libxml2dom和requests支持

抓取博客（理论上任意网站应该都可以）的友情链接，并且可以抓取网站的rss地址

有了这两个东西，完全可以写个小爬虫，通过rss批量生成垃圾站啊。

主要是看到有个叫xiaoxia的博客里有一篇文章写了这个简单算法来抓取页面中友情链接，但这厮没有给出全部代码。

俺就用了俩小时把代码给完善了一下，为了防止广告就不贴地址了

直接贴我写的代码的地址：https://gist.github.com/4001319

觉着还不错的给俺加点分吧……俺从元老掉下来了，着急回元老啊

dRE@M

支持干货。。。

织梦

织梦 发表于 2012-11-2 21:26



好像打不开！
这个是github，打不开和俺关系不大啊，上个图，抓的http://simple-is-better.com/的友情链接




代码也打了个包放上来了，打不开github直接下这个






(1.42 KB, 下载次数: 14)

2012-11-2 21:29 上传
点击文件名下载附件

chairo

果然很干

过客

怎样应用呢

失足大叔

失足大叔 发表于 2012-11-2 21:44



怎样应用呢
自己电脑的话，安装python2.7，安装目录加入环境变量
libxml2dom和requests
解压后在目录分别执行python setup.py install

然后cmd执行我的那段脚本就能看到效果了






(157.71 KB, 下载次数: 7)

2012-11-2 21:53 上传
点击文件名下载附件










(780.77 KB, 下载次数: 6)

2012-11-2 21:53 上传
点击文件名下载附件

chairo

白花花的大咪咪你都不看一眼吗？

ccc

chairo 发表于 2012-11-2 21:55



自己电脑的话，安装python2.7，安装目录加入环境变量
libxml2dom和requests
解压后在目录分别执行python  ...


怎样产生价值？

失足大叔

抓友情链接有什么用啊~
失足大叔 发表于 2012-11-2 22:28



怎样产生价值？
对于我来说，你要给我加点分就已经产生价值了……