Linux 文本处理完整指南：grep、awk、sed、jq 命令详解与实战

文本处理是 Linux 系统管理和开发的基石。无论您是解析日志、转换数据还是执行自动化任务，像grep、awk、sed和jq这样的工具都不可或缺。这些命令行实用程序各有其独特的优势，它们共同构成了 Linux 中处理文本和数据的强大工具包。在本指南中，我们将探讨每个工具的功能、如何有效地使用它们，并提供一些实际示例来帮助您掌握文本处理。

文本处理简介

Linux 中的文本处理涉及搜索、过滤、转换和格式化数据（通常以文件或流的形式）。工具grep、awk、sed和jq旨在高效地处理这些任务，每个工具都有特定的侧重点：

• grep：在文本中搜索模式。
• awk：提取并处理结构化数据。
• sed：使用基于模式的转换编辑文本流。
• jq：操作和查询 JSON 数据。

这些工具轻量级、快速，并且内置于大多数 Linux 发行版中，对于开发人员、系统管理员和数据工程师来说至关重要。让我们深入了解每个工具的功能和用例。

理解 grep：搜索大师

grep（全局正则表达式打印）是一款使用正则表达式搜索文本的实用程序。它非常适合在文件或输入流中查找与特定模式匹配的特定行。

主要特点

• 支持基本和扩展正则表达式。
• 可以通过目录递归搜索。
• 提供不区分大小写的搜索、行号等选项。

基本语法

grep [options] pattern [file...]

示例：搜索字符串

假设您有一个日志文件server.log并想要找到所有包含“ERROR”的行：

grep "ERROR" server.log

要使其不区分大小写并显示行号：

grep -i -n "error" server.log

高级用法

• 递归搜索.py：在目录中的所有文件中搜索“TODO” ：

  grep -r "TODO" *.py

• 反转匹配：显示与模式不匹配的行：

  grep -v "DEBUG" server.log

grep是您进行快速搜索的首选工具，但它的功能仅限于查找和显示行。对于更复杂的数据操作，我们可以使用awk。

探索 awk：数据提取向导

awk是一种多功能编程语言，专为模式扫描和处理而设计。它尤其适用于处理结构化文本，例如 CSV 文件或格式一致的日志。

主要特点

• 逐行处理文本，将行拆分为字段。
• 支持条件逻辑、循环和自定义输出格式。
• 非常适合提取特定列或转换数据。

基本语法

awk 'pattern { action }' [file]

示例：从 CSV 中提取字段

users.csv给定一个包含以下列的CSV 文件name,age,city：

Alice,25,New York
Bob,30,London
Charlie,35,Paris

仅打印姓名和城市：

awk -F',' '{ print $1 ", " $3 }' users.csv

输出：

Alice, New York<br>Bob, London<br>Charlie, Paris

高级用法

• 条件过滤：打印30岁以上的用户：

  awk -F',' '$2 > 30 { print $1 }' users.csv

输出：

  Charlie

• 求和值：计算总年龄：

  awk -F',' '{ sum += $2 } END { print sum }' users.csv

输出：

  90

awk当您需要从结构化文本中提取或计算数据时，它会大放异彩，但对于就地文本编辑来说，sed它是更好的选择。

掌握 sed：流编辑器

sed（流编辑器）旨在通过应用基于模式的转换来编辑文本流。它非常适合执行查找和替换、删除行或插入文本等任务。

主要特点

• 执行就地文件编辑或输出到终端。
• 支持正则表达式进行模式匹配。
• 非交互式，非常适合脚本。

基本语法

sed [options] 'command' [file]

示例：替换文本

要将所有“ERROR”实例替换为“WARNING” server.log：

sed 's/ERROR/WARNING/g' server.log

要就地修改文件：

sed -i 's/ERROR/WARNING/g' server.log

高级用法

• 删除行：删除包含“DEBUG”的行：

  sed '/DEBUG/d' server.log

• 插入文本：向文件添加标题：

  sed '1i # Log File' server.log

sed虽然它对文本转换很强大，但它并非为 JSON 这样的结构化数据而设计。这就是jq的用武之地。

深入探究 jq：JSON 处理引擎

jq是一个用于解析、过滤和转换 JSON 数据的命令行工具。随着 API 和基于 JSON 的配置的兴起，jq它已成为现代开发人员的必备工具。

主要特点

• 使用简单的语法查询和操作 JSON 数据。
• 支持过滤、映射和聚合 JSON 对象。
• 轻量级且脚本友好。

基本语法

jq 'filter' [file]

示例：查询 JSON

给定一个 JSON 文件data.json：

[
  {"name": "Alice", "age": 25, "city": "New York"},
  {"name": "Bob", "age": 30, "city": "London"},
  {"name": "Charlie", "age": 35, "city": "Paris"}
]

提取所有名称：

jq '.[].name' data.json

输出：

"Alice"
"Bob"
"Charlie"

高级用法

• 过滤：获取 30 岁以上的用户：

  jq '.[] | select(.age > 30) | .name' data.json

输出：

  "Charlie"

• 转换：创建一个新的 JSON 结构：

  jq '[.[] | {user: .name, location: .city}]' data.json

输出：

  [
    {"user": "Alice", "location": "New York"},
    {"user": "Bob", "location": "London"},
    {"user": "Charlie", "location": "Paris"}
  ]

jq在 JSON 处理方面无与伦比，但当与其他工具结合时，它的真正威力就会显现出来。

结合工具：真实世界的例子

这些工具通常在流程中一起使用，以解决复杂的问题。以下是两个实际示例：

示例 1：日志分析

您的 Web 服务器日志中access.log包含如下内容：

192.168.1.1 - - [12/Aug/2025:10:00:00] "GET /index.html HTTP/1.1" 200

要查找所有 404 错误并提取 IP 和 URL：

grep "404" access.log | awk '{ print $1, $7 }'

输出：

192.168.1.1 /notfound.html

示例 2：JSON 日志转换

给定一个包含如下条目的 JSON 日志文件api.log：

{"time": "2025-08-13T10:00:00", "endpoint": "/api/users", "status": 200}

要将“200”替换为“OK”并过滤以“/api”开头的端点：

jq '.[] | select(.endpoint | startswith("/api"))' api.log | sed 's/"status": 200/"status": "OK"/g'

该管道用于jq过滤 JSON 数据并sed修改输出。

最佳实践和技巧

• 明智地使用正则表达式：这四个工具都支持正则表达式，但复杂的模式可能难以调试。请逐步测试模式。
• 在管道中组合工具：利用 Linux 管道（|）链接工具以完成复杂任务。
• 了解常见选项：
  • grep:（-i不区分大小写）、-r（递归）、-v（反转匹配）。
  • awk:（-F字段分隔符），BEGIN/END块。
  • sed:（-i就地编辑），s/pattern/replace/（替换）。
  • jq：（.[]迭代数组），select()（过滤），map()（转换）。
• 编辑前测试：始终在没有-i（for sed）或在备份文件上测试命令以避免数据丢失。
• 使用man页面：运行man grep、、或获取详细文档man awk。man sedman jq

结论

grep、sed、jq和awk都是Linux 中文本和数据处理的重要工具。无论您是使用 搜索日志、提取字段、编辑文件，还是解析 JSON ，这些工具都能帮助您高效地处理各种任务。通过掌握它们的语法并将它们组合成管道，您可以自动化复杂的工作流程，并充分发挥 Linux 命令行处理的潜力。

在你的下一个项目中尝试一下这些工具，你会发现它们会成为你工具包中不可或缺的一部分。祝你文本处理愉快！