pigz压缩算法初体验

  |   0 评论   |   0 浏览

背景

tar压缩大文件(>20G)时很慢。

于是调研了一下有没有更快的压缩方法。

初体验

  1. time zip -r ./result/srcdata.zip ./srcdata
  2. time tar -cpvhzf ./result/srcdata.tgz ./srcdata
  3. time tar --use-compress-program=pigz -cpvhf ./result/srcdata.tgz ./srcdata
压缩工具压缩前大小压缩后大小压缩率压缩时间解压时间
zip14G4.7G2.9812m47s2m10s
tar14G4.7G2.9812m53s2m13s
pigz14G4.7G2.982m06s2m13s

自测情况

ls -lhd lm.tar.gz
-rw-r--r-- 1 root root 30G Sep 21 20:39 lm.tar.gz

常规解压

time tar xvf lm.tar.gz
lm/
lm/G-5gram_pruned_5e-11.fst

real	10m57.947s
user	9m33.797s
sys	2m50.814s

pigz解压(提速40%)

time tar -I pigz -xvf lm.tar.gz
lm/
lm/G-5gram_pruned_5e-11.fst

real	6m32.792s
user	6m36.470s
sys	3m38.950s

参考

  1. 三种压缩算法(zip, tar和pigz)对比