vForce 发表于 2019-4-2 23:23:35

求教Linux下大文件并发压缩的方法

大概有个3T的文件夹需要压缩，之前用7zip压缩设置Mx1之后需要压4-5天左右，压完了有2.4T左右。
但是这个压缩时间太长了，而且每次只用单线程。。想问各位大佬有没有能并发压缩的办法？
目前来说磁盘不是瓶颈，iostat下看到使用率长期是个位数，偶尔才跳40%。

tony601818 发表于 2019-4-2 23:30:18

压缩率很重要吗？
并行压缩的有pbzip2

yidaomm 发表于 2019-4-3 00:48:38

居然压缩几T的文件~~
lol.gif

zzz 发表于 2019-4-3 01:08:38

7za支持多核的吧 先打成tar再7z压？

coolloves 发表于 2019-4-3 09:39:04

pigz 多线程gz,应该可以满足
页: [1]
查看完整版本: 求教Linux下大文件并发压缩的方法