shell正则表达式
sort命令
以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序
比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
sort 对行内容进行升序排序
XXX | sort 选项 sort 选项 文件
常用选项：
| -n | 按照数组进行排序 |
| -r | 反向排序 |
| -u | 排序后去重（表示相同的数据仅显示一行） |
| -t '字段分隔符' -k 字段序号 | 根据-t 指定的分隔符的第 k个字段进行排序 |
| -k | 指定排序字段 |
| -o <输出文件> | 将排序后的结果转存至指定文件 |
| -f | 忽略大小写，会将小写字母都转换为大写字母来进行比较 |
| -b | 忽略每行前面的空格 |
uniq 对连续的重复行进行去重
XXX | uniq 选项 uniq 选项 文件
常用选项：
| -c | 对连续的重复行进行去重，并统计重复次数 |
| -d | 仅输出连续重复的行 |
| -u | 仅输出不连续重复的行 |
tr 对输入的内容进行替换
XXX | tr 选项 '参数1' ['参数2']
常用选项：
| -t | tr命令的默认选项，使用 参数2 的字符替换成 参数1 的字符 |
| -c | 仅保留 参数1 的字符，其它字符（包括\n）都替换成 参数2 的字符 |
| -s | 根据 参数1 进行去重，如果有 参数2 则再用 参数2 的字符替换 参数1 的字符 |
| -d | 删除所有 参数1 的字符 |
删除空行
cat 文件 | grep -v "^$"
cat 文件 | tr -s "\n"
Windows的另起一行格式（\r\n）转换成 Linux的另起一行格式（\n）
cat 文件 | tr -d '\r' > 新文件
dos2unix 文件
对数组排序
echo ${数组名[@]} | tr ' ' '\n' | sort -rn | tr '\n' ' '
cut 对行内容进行字段截取
XXX | cut 选项 参数
| -d '分隔符' -f 字段序号 | 根据 -d 指定的分隔符的截取显示 -f 指定的字段 |
| --complement | 取反，不显示 -f 指定的字段 |
| --output-delimiter '分隔符' | 指定输出的字段分隔符 |
字符串分片
echo ${变量:下标:长度} #下标起始从0开始
echo $变量 | cut -b 起始下标-终止下标 #下标起始从1开始
expr substr $变量 起始下标 长度 #下标起始从1开始
split 按照格式拆分文件
| -l | 根据行数分割文件 |
| -b | 根据大小分割文件 |
| -d | 输出的目标文件后缀用数字替代 |
如何将一个10G文件分割为10个1G的文件 split -b 1G -d 原文件 目标文件名前缀
如何将一个100行文件分割为10个10行的文件 split -l 10 -d 原文件 目标文件名前缀
paste 将多个文件按照列进行合并
paste 选项 文件1 文件2 ...
| -d '分隔符' | 指定输出的字段分隔符 |
| -s | 将每个列横向输出 |
合并文件的行 cat 文件1 文件2 ... > 新文件
合并文件的列 paste -d '分隔符' 文件1 文件2 ... > 新文件
eval 在命令行执行前，先将命令行里的变量置换成对应的值后，再执行命令
a=100
b=a
eval echo \$$b 置换成--> echo $a 执行-> 100
eval $b=50 置换成--> a=50 执行
echo $a -> 50
通配符和正则表达式的作用范围：
通配符 作用范围 匹配文件/目录名
正则表达式 作用范围 匹配文件内容
正则表达式元字符
基础元字符
| \ | 转义字符，将一些特殊符号转义成普通字符 \? \! \\ 将一些普遍字母字符转义成特殊字符 \n \t \r |
| ^ | 匹配以指定字符串开头的 ^XXX |
| $ | 匹配以指定字符串结尾的 XXX$ ^$ |
| . | 代表除了 \n 以外的任意字符 |
| [XXX] | 匹配中括号里的列表中的任意一个字符 [.\n] [0-9] [a-zA-Z0-9] |
| [^XXX] | 匹配除了中括号里的列表中的任何字符 [^0-9]匹配所有非数字的字符 [^a-zA-Z]匹配所有非大小字母的字符 |
| * | 匹配*前面的字符或表达式任意次数（包括0次 1次或多次） .* [0-9]* |
| {n} | 匹配{}前面的字符或表达式 n 次 |
| {n,} | 匹配{}前面的字符或表达式至少 n 次（大于等于 n 次） |
| {n,m} | 匹配{}前面的字符或表达式 n 到 m 次（大于等于 n 次且小于等于 m 次） |
（注：grep sed 使用时 {} 前面要加 \ ；egep awk grep -E sed -r 使用时 {} 前面不用加 \）
扩展元字符
| + | 匹配+前面的字符或表达式至少1次（大于等于1次 {1,}） |
| ? | 匹配?前面的字符或表达式0次或1次（{0,1}） |
| () | 将()里的表达式作为一个整体 (oo)* (oo)? |
| | | 或 (oo|aa) (oo|aa)? |