【linux基础】Linux 文本处理核心命令指南

Linux 文本处理核心命令指南

文本处理是 Linux 系统管理的核心能力，约 80% 的配置文件操作都依赖于文本处理技术。本指南详细讲解 echo、重定向、cat、grep、wc 和 vim 等关键命令，涵盖从基础操作到高级技巧的完整知识体系，并配有实用案例演示。

1. echo：高效的文本输出工具

适用场景

• 输出脚本运行状态信息（如操作结果、错误提示）
• 快速创建文本文件（配合重定向操作）
• 格式化文本输出（支持换行、制表符、颜色等样式）
• 生成数字或字母序列

echo是Bash内置的常用命令，广泛应用于Shell脚本中的文本输出和格式化处理。

核心功能

• 终端信息显示
• 文本格式化（支持换行符、制表符等）
• 文件内容写入
• 显示环境变量及命令执行结果

常用选项

• -e：启用转义字符解析（如\n换行、\t制表等）
• -n：禁止自动换行（输出后不添加换行符）

转义字符对照表（需配合-e选项）

实用技巧

格式化输出

# 彩色提示信息
echo -e "\033[31mError\033[0m: File not found"  # 红色错误提示

# 动态进度显示
for i in {1..10}; do
    echo -ne "Progress: [${i}0%]\r"  # 使用\r覆盖当前行
    sleep 0.5
done
echo  # 换行结束

引号使用区别

# 双引号会解析变量和命令
name="Linux"
echo "User: $name, PWD: $(pwd)"  # 输出：User: Linux, PWD: /home/user

# 单引号保持原样输出
echo 'User: $name, PWD: $(pwd)'  # 输出：User: $name, PWD: $(pwd)

# 命令替换（两种等效写法）
echo "Today: `date +%F`"  # 输出：Today: 2024-05-20

序列生成方法

echo {001..005}        # 带前导零的数字序列：001 002 003 004 005
echo {a..z..2}         # 步长为2的字母序列：a c e ... y
echo {2020..2023}-01   # 组合序列：2020-01 2021-01 2022-01 2023-01

2. 重定向操作：> 与 >>

适用场景

• 日志记录：将命令输出保存至日志文件
• 信息过滤：隐藏编译/安装过程中的冗余信息
• 配置生成：配合echo或cat创建配置文件
• 内容合并：汇集多个命令输出到单个文件

重定向是Linux I/O管理的核心机制，通过改变数据流向实现高效文本处理。

核心概念

• 文件描述符：
  • 0 (stdin)：标准输入
  • 1 (stdout)：标准输出
  • 2 (stderr)：标准错误
• 操作符区别：
  • >：覆盖写入（默认操作stdout，等价于1>）
  • >>：追加写入（等价于1>>）
  • 2>：重定向错误输出
  • &>：合并标准输出和错误输出

文件描述符关系图

0 (stdin)  → [进程]
              ↓
1 (stdout) → 终端/文件
              ↓
2 (stderr) → 终端/文件（与stdout独立）

实用技巧与安全操作

基础重定向

# 覆盖写入
echo "hello" > output.txt

# 追加内容
echo "world" >> output.txt

# 错误重定向
ls non_exist_file 2> error.log  # 将错误信息保存至error.log

输出屏蔽

# 静默执行（丢弃所有输出）
make > /dev/null 2>&1  # 合并stdout和stderr到null设备

# 仅显示错误
command > /dev/null  # 忽略正常输出

防覆盖保护

# 启用保护
set -o noclobber

# 强制写入（覆盖模式下）
echo "force write" >| existing.txt

# 关闭保护
set +o noclobber

批量输出收集

# 收集系统信息
{
    echo "=== System Info ==="
    date
    uname -a
} > system_report.txt

3. cat：文件查看与处理工具

适用场景

• 快速查看小型文本文件（如配置文件和日志片段）
• 使用heredoc语法创建多行文本
• 合并多个文件内容
• 显示特殊字符（包括换行符和制表符）

cat是一款高效的文件处理工具，特别适合处理中小型文本文件和脚本模板。

与less/more的功能对比

核心功能

• 查看文件内容
• 合并多个文件输出
• 通过heredoc写入多行文本
• 可视化控制字符

常用选项

• -n：显示行号
• -s：压缩连续空行
• -T：可视化制表符（显示为^I）
• -E：标记行尾（显示$）
• -A：显示所有特殊字符（等同于-vET）

实用操作指南

基础查看与文件合并

# 带行号查看文件
cat -n /etc/hosts

# 合并文件内容
cat part1.txt part2.txt > combined.txt

# 识别换行符差异
cat -A windows.txt  # 显示^M$（Windows格式）
cat -A linux.txt    # 显示$（Linux格式）

heredoc多行文本操作

# 基本用法（EOF可替换为其他分隔符）
cat > config.ini << EOF
[server]
port=8080
debug=true
EOF

# 禁用变量解析
name="test"
cat > info.txt << 'EOF'
username=$name  # 原样输出
EOF

# 保留缩进格式（使用<<-忽略前导制表符）
cat > script.sh <<- 'EOF'
    #!/bin/bash
    echo "保留格式的脚本"
EOF

管道文本处理

# 过滤注释和空行
cat /etc/nginx/nginx.conf | grep -Ev "^\s*(#|$)"

# 统计有效代码行数
cat app.py | grep -v "^$" | wc -l

4. grep：高效文本过滤

适用场景

• 日志分析（筛选错误、警告信息）
• 配置文件过滤（提取有效配置行）
• 进程/服务查询（结合ps命令）
• 文本内容搜索（匹配特定模式）

grep是基于正则表达式的文本过滤工具，能显著提升日志分析和内容检索效率。

正则表达式速查表

常用选项与组合示例

实战案例

日志分析

# 统计1小时内的500错误次数
grep "2024-05-20 14:" access.log | grep " 500 " | wc -l

# 提取错误IP及出现次数（按次数排序）
grep "error" access.log | awk '{print $1}' | sort | uniq -c | sort -nr

进程过滤（排除grep自身）

# 查找Apache或Nginx进程（排除grep进程）
ps aux | grep -E "[A]pache|[n]ginx"  # 方括号使grep不匹配自身

配置文件清理

# 提取有效配置行（排除注释、空行）
grep -Ev "^\s*(#|$)" /etc/sysctl.conf  # -E启用扩展正则，-v排除

复杂模式匹配

# 匹配IP地址（简单验证）
grep -Eo "([0-9]{1,3}\.){3}[0-9]{1,3}" log.txt  # -o仅显示匹配部分

# 匹配邮箱地址（基础验证）
grep -E "^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}$" emails.txt

5. wc：文本统计工具

适用场景

• 代码行数统计（统计项目代码量）
• 日志条目计数（监控日志增长）
• 文本内容分析（单词数、最长行等）
• 管道中配合过滤命令统计结果

wc是轻量高效的统计工具，常与find、grep等命令组合使用。

核心功能

• -l：统计行数（最常用）
• -w：统计单词数（以空白分隔）
• -c：统计字节数
• -L：统计最长行的长度（字符数）

实战案例

代码统计（结合find和sort）

# 统计当前目录下所有.go文件的行数，按行数降序取前5
find . -name "*.go" | xargs wc -l | sort -nr | head -5
# 输出示例：
# 1200 ./main.go
# 850  ./utils/helper.go
# ...

日志监控

# 实时监控Nginx访问日志行数（每1秒刷新）
watch -n 1 'wc -l /var/log/nginx/access.log'

文本分析

# 统计/etc/passwd的用户数（行数）、最长行长度
wc -lL /etc/passwd  # 输出：40  92 /etc/passwd（40行，最长行92字符）

# 统计单词数（适合纯文本内容）
wc -w article.txt  # 输出：1520 article.txt（1520个单词）

配合管道统计过滤结果

# 统计系统中已登录的用户数（排除重复）
who | cut -d " " -f 1 | sort | uniq | wc -l

6. vim：高效文本编辑器

适用场景

• 配置文件修改（如nginx、mysql等）
• 脚本开发（支持bash、python等语言）
• 文本处理（批量替换、格式调整）
• 编程开发（提供语法高亮、智能缩进等功能）

vim是专业级文本编辑器（基于vi增强），采用多模式操作设计，掌握后能显著提升编辑效率。

核心模式

• 普通模式：默认状态，用于导航和基本编辑（按Esc返回）
• 插入模式：文本输入状态（通过i/a/o等进入）
• 命令模式：执行保存、搜索等操作（按:激活）

高效操作指南

基础编辑

# 进入插入模式
i  # 当前光标前插入
a  # 当前光标后插入
o  # 下方新建行插入

# 文件操作（命令模式）
:w        # 保存文件
:q        # 安全退出
:wq       # 保存后退出
:q!       # 强制退出

进阶技巧

# 权限提升保存
:w !sudo tee %  # 使用sudo权限保存当前文件

# 操作历史
u          # 撤销操作
Ctrl + r   # 恢复撤销

# 操作历史可视化
:h undo-tree  # 查看帮助
:UndotreeToggle  # 显示操作历史树

批量处理

# 多行缩进
V          # 进入行选择模式
j/k        # 选择行范围
>          # 增加缩进（<减少缩进）

# 列编辑
Ctrl + v   # 进入块选择模式
j/k        # 选择列区域
I          # 插入内容（Esc后生效）

# 全局替换
:%s/old/new/g  # 全文替换
:%s/old/new/gc # 交互式替换

配置优化（~/.vimrc）

set number              " 显示行号
syntax on               " 语法高亮
set tabstop=4           " Tab宽度
set shiftwidth=4        " 缩进宽度
set expandtab           " Tab转空格
set autoindent          " 自动缩进
set ignorecase          " 搜索不区分大小写
set hlsearch            " 高亮搜索结果

通过系统化练习这些工具的高级用法，可显著提升Linux环境下的文本处理效率，从简单的内容输出到复杂的配置管理均能应对自如。