Linux下 自定义多线程并发快速压缩解压缩脚本

• Linux下 自定义多线程并发快速压缩解压缩脚本

Linux下常用的tar工具无法支持并行 压缩和解压，对于大量小文件的解压缩，可借助pigz工具实现多线程并行工作，实现更为高效的压缩和解压缩。

自定义多线程压缩解压缩脚本

首先安装 pigz创建脚本 mypigz

#! /bin/bash
name=$1
dir=$2function pin_thread2core() 
{ps -efT | grep pigz | grep -v "grep"pid=$(ps -efT | grep pigz | grep -v "grep" | awk '{print $3}')echo $pidcoreid=2for val in $piddoecho "taskset -cp $coreid $val"taskset -cp $coreid $val((coreid++))done
}cmdline=`cat  /proc/cmdline`
coremask=${cmdline#*isolated_cores=}
echo coremask: $coremaskif [ "$coremask"x = x ]; thenecho "Invalid coremask"coremask=1-10
fiif [ $# -ge 2 ];then#压缩echo "start compress"time taskset -c $coremask tar cf - $dir | taskset -c $coremask pigz -6 -p 10 -k > $name.tar.gz &pin_thread2core
else#解压echo "start decompress: $name"time pigz -p 10 -d $name & pin_thread2core  tarname=$(basename $name .gz) waittime taskset -c $coremask tar xf  $tarname
fiwait

使用

#压缩
./mypigz 文件名 目录
#解压
./mypigz 压缩包名

The End.