skwinx 发表于 2010-11-30 23:29:24

有人能搞出這樣子的源碼嗎？

005.gif
我試著用開源的蜘蛛去抓取頁面 儲存快照 分類儲存頁面

類似web.archive.org這樣的網站

我抓到的中文字都是亂碼 誰有這樣子的源碼？ 我也來整個互聯網存檔。

cnweb 发表于 2010-11-30 23:30:52

太庞大啦
你能搞出来就伟大了

skwinx 发表于 2010-11-30 23:32:06


008.gif
本地蜘蛛從hao123開始爬 目前吸收到了900多MB的快照頁面了

cnweb 发表于 2010-11-30 23:33:30

我想都不敢想能搞這樣的網站

skwinx 发表于 2010-11-30 23:37:05

生命在於蛋疼嘛
003.gif


算了一下 普通的VPS沒有那麼大的硬盤 那些無限虛擬主機能有文件數限制的吧

cnweb 发表于 2010-11-30 23:38:55

原帖由 skwinx 于 2010-11-30 23:37 发表
back.gif

生命在於蛋疼嘛
003.gif


算了一下 普通的VPS沒有那麼大的硬盤 那些無限虛擬主機能有文件數限制的吧


哈哈 你還真是蛋疼！。

我行我素 发表于 2010-11-30 23:45:10

原帖由 skwinx 于 2010-11-30 23:37 发表
back.gif

生命在於蛋疼嘛
003.gif


算了一下 普通的VPS沒有那麼大的硬盤 那些無限虛擬主機能有文件數限制的吧

嗯，你这文件估计很多，虚拟主机肯定不行，上服务器
lol.gif

themyth 发表于 2010-11-30 23:47:15

原帖由 skwinx 于 2010-11-30 23:29 发表
back.gif


005.gif
我試著用開源的蜘蛛去抓取頁面 儲存快照 分類儲存頁面

類似web.archive.org這樣的網站

我抓到的中文字都是亂碼 誰有這樣子的源碼？ 我也來整個互聯網存檔。 ...


楼主，我也有你这样的想法。

skwinx 发表于 2010-11-30 23:47:44


022.gif
公益事業 讓人搭乘「時光機」回去看看以前的網頁為目的。

上獨服不太合算，研究一下怎麼減少那些文件數

skwinxcnweb 发表于 2010-11-30 23:48:37


022.gif
現有的這個蜘蛛是整個網頁一鍋端 什麽JS CSS 全部下載下來了做這個玩意
沒有點美元或人民幣是不可能的撒
页: [1] 2
查看完整版本: 有人能搞出這樣子的源碼嗎？