当前位置：首页 > news >正文

Linux 文本处理三剑客：awk、grep、sed 完全指南

news 2025/8/21 7:28:13

Linux 文本处理三剑客：awk、grep、sed 完全指南

1. 概述

Linux 系统提供了三个强大的文本处理工具：awk、grep 和 sed，它们各有所长，结合使用可以高效地处理文本数据。

awk：擅长文本分析和格式化输出，是一门强大的脚本语言。
grep：擅长文本搜索和过滤。
sed：擅长文本编辑和转换。

这三个工具都支持正则表达式，可以处理标准输入和文件输入，是 Shell 脚本编程中不可或缺的工具。

2. awk 使用指南

2.1 基本介绍

awk 是一种编程语言，专门用于文本处理和数据提取，支持变量、条件判断、循环等编程特性。其名称来源于三位创始人的姓氏首字母。

2.2 基本语法

awk '模式 { 动作 }' [输入文件...]
命令 | awk '模式 { 动作 }'

2.3 工作原理

awk 按行处理文本，每行被分割成多个字段：

$0：整行内容
$1：第一个字段
$2：第二个字段
…

2.4 常用选项

选项	说明	示例
`-F`	指定输入字段分隔符	`awk -F: '{print $1}' /etc/passwd`
`-v`	定义变量	`awk -v var=10 '{print $1 + var}' file`
`-f`	从脚本文件中读取 awk 命令	`awk -f script.awk data.txt`

2.5 内置变量

变量	说明	示例
`FS`	输入字段分隔符（默认空格）	`awk 'BEGIN{FS=":"}{print $1}' file`
`OFS`	输出字段分隔符（默认空格）	`awk 'BEGIN{OFS="-"}{print $1,$2}' file`
`RS`	输入记录分隔符（默认换行符）	`awk 'BEGIN{RS=";"}{print}' file`
`ORS`	输出记录分隔符（默认换行符）	`awk 'BEGIN{ORS="\n\n"}{print}' file`
`NF`	当前行的字段数量	`awk '{if(NF>5) print $0}' file`
`NR`	当前处理的总行号	`awk '{print NR, $0}' file`
`FNR`	当前文件中的行号	`awk '{print FNR, $0}' file1 file2`
`FILENAME`	当前文件名	`awk '{print FILENAME, $0}' file`

2.6 示例

# 打印指定列（源文档示例）
awk '{print $1, $3}' file.txt# 指定分隔符（源文档示例）
awk -F: '{print $1, $6}' /etc/passwd# 使用条件过滤（源文档示例）
awk '$3 > 1000 {print $1}' /etc/passwd# 计算数值总和（源文档示例）
awk '{sum += $1} END {print sum}' file.txt# 使用BEGIN和END块（源文档示例）
awk 'BEGIN {print "开始处理"} {print $0} END {print "处理完成"}' file.txt# 使用内置变量（源文档示例）
awk '{print "行号:", NR, "字段数:", NF, "内容:", $0}' file.txt# 打印雇员信息（源文档示例）
awk '{ print }' employee.txt# 输出特定行（源文档示例）
awk '/张三/ { print }' employee.txt# 统计满足特定条件的记录数（源文档示例）
awk '/术/ { count=count+1 } END { print "Count="count }' employee.txt# 格式化输出表格（源文档综合示例）
awk 'BEGIN { printf "序号\t名字\t部门\t年龄\n-------------------\n" } { print } END {printf "-------------------\n"}' employee.txt

2.7 高级用法

# 使用数组统计词频（源文档示例）
awk '{for(i=1;i<=NF;i++) count[$i]++} END {for(word in count) print word, count[word]}' file.txt | sort -k2 -nr# 条件判断（源文档示例）
awk '{if($3 > 1000) print "用户:", $1, "UID:", $3; else print "系统用户:", $1}' /etc/passwd# 循环处理（源文档示例）
awk '{for(i=NF;i>=1;i--) printf "%s ", $i; printf "\n"}' file.txt# 9x9乘法表（源文档示例）
awk 'BEGIN {for(i=1;i<=9;i++){for(j=1;j<=i;j++) printf "%d*%d=%-2d ",j,i,j*i; print}}'

3. grep 使用指南

3.1 基本介绍

grep (Global Regular Expression Print) 用于在文本中搜索匹配指定模式的行。

3.2 基本语法

grep [选项] 模式 [文件...]
命令 | grep [选项] 模式

3.3 常用选项

选项	说明	示例
`-i`	忽略大小写	`grep -i 'hello' file.txt`
`-v`	反向匹配，显示不匹配的行	`grep -v '^#' config.conf`
`-n`	显示行号	`grep -n 'error' logfile.txt`
`-c`	只显示匹配的行数	`grep -c 'pattern' data.txt`
`-r`	递归搜索目录	`grep -r 'function' /path/to/code/`
`-l`	只显示包含匹配的文件名	`grep -l 'TODO' *.py`
`-E`	使用扩展正则表达式	`grep -E '(error
`-A n`	显示匹配行及其后n行	`grep -A 3 'Exception' traceback.log`
`-B n`	显示匹配行及其前n行	`grep -B 2 'segmentation fault' system.log`
`-C n`	显示匹配行及其前后各n行	`grep -C 2 'keyword' file.txt`

3.4 示例

# 搜索包含"error"的行（源文档示例）
grep 'error' logfile.txt# 忽略大小写搜索（源文档示例）
grep -i 'error' logfile.txt# 显示行号（源文档示例）
grep -n 'error' logfile.txt# 搜索并显示后3行内容（源文档示例）
grep -A 3 'error' logfile.txt# 递归搜索目录（源文档示例）
grep -r 'function' /path/to/code/# 使用扩展正则表达式（源文档示例）
grep -E '(error|warning)' logfile.txt# 统计文件中包含特定模式的记录数（源文档awk示例的grep等效）
grep -c 'pattern' employee.txt# 输出总长度大于10的行（源文档awk示例的grep等效）
grep '.\{11,\}' employee.txt

4. sed 使用指南

4.1 基本介绍

sed (Stream EDitor) 是一个流编辑器，用于对文本进行非交互式的编辑。

4.2 基本语法

sed [选项] '命令' [输入文件...]
命令 | sed [选项] '命令'

4.3 常用选项

选项	说明	示例
`-n`	抑制自动输出，只显示处理过的行	`sed -n '10p' file.txt`
`-e`	允许多个编辑命令	`sed -e 's/foo/bar/' -e '/baz/d' file`
`-i`	直接修改文件内容	`sed -i.bak 's/old/new/g' file.txt`
`-r`	使用扩展正则表达式	`sed -r 's/(foo	bar)/YES/g’ file`

4.4 常用命令

命令	说明	示例
`s/模式/替换/标志`	替换操作	`sed 's/old/new/g' file.txt`
`p`	打印	`sed -n '1,5p' file.txt`
`d`	删除	`sed '/pattern/d' file.txt`
`a\文本`	在行后追加文本	`sed '$a\追加到最后一行' file.txt`
`i\文本`	在行前插入文本	`sed '1i\插入到第一行' file.txt`
`c\文本`	替换整行	`sed '/pattern/c\新的整行内容' file.txt`

4.5 示例

# 替换文本（源文档示例）
sed 's/old/new/g' file.txt# 删除空行（源文档示例）
sed '/^$/d' file.txt# 直接修改文件（源文档示例）
sed -i 's/old/new/g' file.txt# 打印特定行（源文档示例）
sed -n '10,20p' file.txt# 多重编辑（源文档示例）
sed -e 's/foo/bar/g' -e '/baz/d' file.txt# 在匹配行后追加内容（源文档示例）
sed '/pattern/a\追加的内容' file.txt# 模拟cat命令打印文件内容（源文档示例）
sed '' data.txt# 从标准输入中读取数据（源文档示例）
echo "hello world" | sed ''# 使用脚本文件（源文档示例）
echo -e "1d\n2d\n5d" > scripts
sed -f scripts data.txt

5. 综合应用示例

5.1 日志分析

# 分析日志中的错误，统计每种错误的数量（源文档grep示例扩展）
grep 'ERROR' application.log | awk '{print $5}' | sort | uniq -c | sort -nr# 提取最近一小时的日志并分析（源文档sed示例扩展）
sed -n "/$(date -d '1 hour ago' '+%H:%M:%S')/,\$p" application.log | grep 'ERROR' | awk '{print $5}' | sort | uniq -c

5.2 数据提取和转换

# 从CSV文件中提取特定列并转换格式（源文档awk示例扩展）
awk -F, '{print $1 "," $3 "," $5}' data.csv | sed 's/旧值/新值/g' > processed_data.csv# 提取网页中的链接（源文档grep示例扩展）
curl -s http://example.com | grep -o 'href="[^"]*"' | sed 's/href="//;s/"$//' | awk '!/^#/ && !/^javascript:/'# 生成格式化的文本报告（源文档awk综合示例扩展）
awk 'BEGIN {printf "序号\t名字\t部门\t年龄\n-------------------\n"} {printf "%s\t%s\t%s\t%s\n", $1, $2, $3, $4} END {printf "-------------------\n"}' employee.txt

5.3 系统监控

# 监控进程内存使用（源文档awk示例扩展）
ps aux | awk '{if($4 > 5.0) print "进程:", $11, "内存使用:", $4"%"}'# 分析磁盘使用情况（源文档awk示例扩展）
df -h | awk '/\/dev\/sd/ {print "分区:", $1, "使用率:", $5, "可用空间:", $4}'# 检查系统用户（源文档awk示例扩展）
awk -F: '$3 < 1000 {print "系统用户:", $1} $3 >= 1000 {print "普通用户:", $1}' /etc/passwd

6. 正则表达式参考

6.1 基本元字符

元字符	说明
`.`	匹配任意单个字符
`*`	匹配前一个字符0次或多次
`+`	匹配前一个字符1次或多次
`?`	匹配前一个字符0次或1次
`^`	匹配行首
`$`	匹配行尾
`[]`	匹配括号内的任意字符
`[^]`	不匹配括号内的任意字符
`	`
`()`	分组

6.2 字符类

字符类	说明
`[[:alpha:]]`	字母字符
`[[:digit:]]`	数字字符
`[[:alnum:]]`	字母数字字符
`[[:space:]]`	空白字符
`[[:lower:]]`	小写字母
`[[:upper:]]`	大写字母

6.3 转义字符

转义序列	说明
`\n`	换行符
`\t`	制表符
`\s`	空白字符
`\S`	非空白字符
`\w`	单词字符
`\W`	非单词字符
`\d`	数字字符
`\D`	非数字字符

7. 总结与速查

7.1 工具选择指南

搜索文本：使用 grep
编辑文本：使用 sed
处理结构化数据：使用 awk
复杂文本处理：结合使用三者

7.2 常用命令速查

awk 常用命令

awk '{print $1}' file                 # 打印第一列
awk -F: '{print $1}' file             # 指定冒号分隔符并打印第一列
awk 'NR==10' file                     # 打印第10行
awk '$1 > 100' file                   # 过滤第一列大于100的行
awk '{sum+=$1} END{print sum}' file   # 对第一列求和
awk 'BEGIN{FS=":";OFS="-"}{print $1,$3}' file # 设置输入输出分隔符并打印
awk '/pattern/{count++} END{print count}' file # 统计模式出现次数

grep 常用命令

grep pattern file                     # 基本搜索
grep -i pattern file                  # 忽略大小写
grep -v pattern file                  # 反向匹配
grep -n pattern file                  # 显示行号
grep -r pattern dir                   # 递归搜索
grep -E "pattern1|pattern2" file      # 扩展正则表达式（或）
grep -c pattern file                  # 统计匹配行数
grep -A n pattern file                # 显示匹配行及后n行

sed 常用命令

sed 's/old/new/g' file                # 全局替换
sed '/pattern/d' file                 # 删除匹配行
sed -n '10,20p' file                  # 打印10-20行
sed -i.bak 's/old/new/' file          # 直接修改文件并备份原文件
sed '/^#/d; /^$/d' file               # 删除注释和空行
sed '1,5s/old/new/g' file             # 替换1-5行的内容
sed '/pattern/a\text' file            # 在匹配行后追加文本