Linux xargs 命令：构建命令行指令

介绍

在本实验中，你将探索 Linux 中强大的 xargs 命令。xargs 是一个多功能工具，允许你从标准输入构建并执行命令。它在处理参数列表并将其转换为命令行操作时特别有用。

在整个实验过程中，我们将以「处理书籍」作为示例任务。需要注意的是，「处理书籍」并不是一个特定的 Linux 命令，而是一个占位符，代表你可能想要对一组项目执行的任何操作。在示例中，我们通常会使用 echo 或 touch 等简单命令来模拟这种处理过程。在实际场景中，你可以将这些替换为与你具体任务相关的更复杂的命令或脚本。

完成本实验后，你将能够使用 xargs 高效地管理文件并自动化重复性任务。本实验专为初学者设计，所以如果你是 Linux 命令的新手也不必担心——我们会仔细引导你完成每一个步骤。

理解 xargs 命令

让我们首先了解 xargs 命令的基本用法以及它在什么时候是一个有用的工具。当你需要将一个命令的输出作为另一个命令的参数时，xargs 特别有用。这在 Shell 脚本和命令行工作流中非常常见。

假设你有一个项目列表，并且想对每个项目执行一项操作。虽然你可以在脚本中使用 for 循环，但 xargs 通常提供了一种更简洁、更高效的方法来实现这一点，尤其是在处理大型列表或目标命令可以处理多个参数时。

让我们通过一个简单的例子来演示 xargs 如何处理来自文件的输入。首先，查看一个包含水果列表的文件内容：

cat ~/project/fruits.txt

你应该会看到以下输出：

apple
orange
banana

现在，让我们使用 xargs 来回显（echo）该文件的内容。这模拟了获取文件的每一行并将其作为 echo 命令的参数。

cat ~/project/fruits.txt | xargs echo

你应该会看到以下输出：

apple orange banana

在这个例子中，xargs 接收来自 cat 的输入（文件的每一行），并将其作为 echo 命令的参数。这里的 echo 命令正在模拟我们的「处理」操作。默认情况下，xargs 将每一行视为一个单独的参数，并将它们组合到单次命令执行中。

让我们分解一下这里发生了什么：

1. cat ~/project/fruits.txt 读取文件的内容。
2. |（管道）符号将此输出发送到下一个命令。
3. xargs echo 获取输入中的每一行，并将其作为 echo 命令的参数。

这很有用，因为它允许我们在单个命令中处理多个项目，这比单独处理每个项目要高效得多，特别是当目标命令可以处理多个参数时。在实际应用中，你会将 echo 替换为需要在列表中的每个项目上运行的任何命令或脚本。这就是 xargs 的闪光点——在产生列表的命令和操作参数的命令之间架起桥梁。

使用 xargs 处理文件

基于我们对 xargs 如何获取输入并将其用作参数的理解，让我们探索一个更实际的应用：处理文件。假设你是一名负责整理数字档案的图书管理员。你有一份书名列表，需要为每本书创建空文件。虽然简单的 for 循环可以做到这一点，但 xargs 提供了另一种选择，特别是当文件列表可能是由另一个命令（如 find）生成时。

让我们使用 xargs 自动执行从列表创建文件的过程。首先，查看包含一些书名的文件内容：

cat ~/project/books.txt

你应该会看到：

The_Great_Gatsby
To_Kill_a_Mockingbird
1984

现在，让我们将 xargs 与 touch 命令结合使用，为每本书创建空文件。我们将引入 -I 选项，当你需要将输入参数放置在被执行命令中的特定位置时，这个选项至关重要。

cat ~/project/books.txt | xargs -I {} touch ~/project/{}.txt

让我们分解这个命令：

• cat ~/project/books.txt：读取我们的书籍列表文件内容。
• |：管道符号将 cat 的输出发送到下一个命令。
• xargs：用于从标准输入构建并执行命令。
• -I {}：此选项告诉 xargs 将命令中出现的 {} 替换为每个输入行。当运行的命令需要输入参数在中间或末尾，而不仅仅是追加到末尾时，这特别有用。
• touch ~/project/{}.txt：这是 xargs 将为每行输入执行的命令。{} 将被替换为每个书名，并追加 .txt 以创建文件名。

此命令使用 -I {} 选项为每个输入项指定一个占位符（{}）。对于 books.txt 中的每一行，xargs 都会用书名替换 {} 并执行 touch 命令，从而有效地创建以书名命名且扩展名为 .txt 的文件。

让我们验证文件是否已创建：

ls ~/project/*.txt

你应该会看到以下输出：

/home/labex/project/1984.txt
/home/labex/project/The_Great_Gatsby.txt
/home/labex/project/To_Kill_a_Mockingbird.txt
/home/labex/project/books.txt
/home/labex/project/fruits.txt

如你所见，xargs 为每个书名创建了一个新的 .txt 文件，连同我们原始的 books.txt 和 fruits.txt 文件。这演示了如何使用 xargs 将命令应用于项目列表，使其成为文件操作和自动化的强大工具。

使用 xargs 限制参数数量

随着数字图书馆的扩大，我们可能会遇到这样的情况：想要运行的命令对它可以接受的参数数量有限制，或者我们只是想以较小的批次处理项目，以便更好地控制或进行资源管理。xargs 的 -n 选项允许我们限制传递给每次命令执行的参数数量。这是 xargs 根据输入对命令执行方式提供精细控制的另一种场景。

让我们看一个包含更多书名的文件：

cat ~/project/more_books.txt

你应该会看到：

Pride_and_Prejudice
The_Catcher_in_the_Rye
The_Hobbit
Animal_Farm
Brave_New_World

现在，让我们使用带有 -n 选项的 xargs 一次处理两本书。我们将再次使用 echo 来可视化正在处理的批次。

cat ~/project/more_books.txt | xargs -n 2 echo "Processing books:"

你应该会看到类似这样的输出：

Processing books: Pride_and_Prejudice The_Catcher_in_the_Rye
Processing books: The_Hobbit Animal_Farm
Processing books: Brave_New_World

让我们分解一下这里发生了什么：

• cat ~/project/more_books.txt：读取书籍列表文件的内容。
• |：管道符号将 cat 的输出发送到下一个命令。
• xargs -n 2：告诉 xargs 每次命令执行最多使用 2 个参数。这意味着 xargs 将输入行分成两个一组，并为每组执行目标命令。
• echo "Processing books:"：这是 xargs 将执行的命令。参数（书名）将追加到此命令之后。

此命令成对处理书籍，如果书名总数是奇数，则最后一本书单独处理。当你想要以特定的分组大小处理项目时，-n 选项非常有用，这有助于管理大型列表或处理对参数数量有限制的命令。它提供了一种将大型任务分解为由同一命令执行的更小、更易管理的子任务的方法。

使用 xargs 进行并行处理

随着图书馆的持续扩建，我们希望加快文件处理速度。对于彼此独立的任务，并行运行它们可以显著减少总执行时间。xargs 的 -P 选项允许我们同时运行目标命令的多个实例，这可以显著提高 I/O 密集型操作或涉及等待的任务的性能。这是 xargs 相对于使用 for 循环进行简单顺序处理的一个关键优势。

首先，让我们创建一个脚本，通过在内容中添加时间戳并引入延迟来模拟处理书籍。这个延迟将帮助我们可视化并行执行的过程。

cat ~/project/process_book.sh

你应该会看到：

#!/bin/bash
echo "Processing $1 at $(date)" > ~/project/processed_$1
sleep 2 ## Simulate some processing time

该脚本执行以下操作：

1. 它接受一个书名作为参数（$1）。
2. 它创建一个新文件，在书名前加上「processed_」前缀。
3. 它向该文件写入一条消息，包括当前的日期和时间。
4. 它等待 2 秒以模拟处理时间，使并行执行更加明显。

现在，让我们使用带有 -P 选项的 xargs 来并行处理书籍。我们还将再次使用 -I 选项将每个书名作为参数传递给我们的脚本。

cat ~/project/more_books.txt | xargs -P 3 -I {} ~/project/process_book.sh {}

让我们分解这个命令：

• cat ~/project/more_books.txt：读取我们的书籍列表。
• |：管道符号将输出发送到 xargs。
• xargs -P 3：告诉 xargs 最多并行运行 3 个进程。xargs 将同时启动目标命令的最多 3 个实例，每个实例处理一个或多个输入项。
• -I {}：将 {} 定义为每个输入项的占位符，它将作为参数传递给我们的脚本。
• ~/project/process_book.sh {}：为每本书运行的命令，其中 {} 被替换为书名。

此命令将开始同时处理最多 3 本书。运行命令后，你可以检查处理后的文件内容：

cat ~/project/processed_*

你应该会看到输出显示书籍是在略有不同的时间处理的，这表明了并行执行。确切的时间会有所不同，但你可能会看到类似以下内容：

Processing Pride_and_Prejudice at Mon Aug 12 10:15:01 UTC 2024
Processing The_Catcher_in_the_Rye at Mon Aug 12 10:15:01 UTC 2024
Processing The_Hobbit at Mon Aug 12 10:15:01 UTC 2024
Processing Animal_Farm at Mon Aug 12 10:15:03 UTC 2024
Processing Brave_New_World at Mon Aug 12 10:15:03 UTC 2024

请注意前三本书是如何同时开始处理的，而最后两本书在大约 2 秒后开始（由于我们脚本中的 sleep 2）。这展示了并行处理的实际效果，这是使用 xargs 加速独立任务的一个显著优势。

组合 xargs 选项

在实际场景中，你经常需要组合不同的 xargs 选项来实现所需的处理行为。在最后一个任务中，我们将探索如何在利用并行处理的同时分批处理书籍。我们将使用一种与最初建议略有不同的方法，以避免在直接与简单命令一起使用时 -n 和 -I 选项的互斥性。相反，我们将使用 Shell 命令（sh -c）作为 xargs 的目标，这允许我们在 Shell 脚本中处理由 -n 传递的多个参数。

让我们看看经典书籍列表：

cat ~/project/classic_books.txt

你应该会看到：

Moby_Dick
War_and_Peace
Ulysses
Don_Quixote
The_Odyssey
Madame_Bovary
Lolita
Hamlet
The_Iliad
Crime_and_Punishment

现在，让我们使用 xargs 以 2 本书为一组进行处理，最多开启 3 个并行进程。我们将使用 sh -c 来执行一个简单的命令，回显正在处理的批次。

cat ~/project/classic_books.txt | xargs -n 2 -P 3 sh -c 'echo "Processing batch: $@"' _

让我们分解这个命令：

• cat ~/project/classic_books.txt：读取我们的经典书籍列表。
• |：管道符号将输出发送到 xargs。
• xargs：用于从标准输入构建并执行命令。
• -n 2：此选项告诉 xargs 每次命令执行使用 2 个参数（书名）。这两个参数将传递给 sh -c 命令。
• -P 3：此选项告诉 xargs 最多并行运行 3 个进程。每个进程将执行带有 2 个书名批次的 sh -c 命令。
• sh -c 'echo "Processing batch: $@"' _：这是 xargs 将执行的命令。
  • sh -c：使用 Shell 执行命令字符串。
  • 'echo "Processing batch: $@"'：要执行的命令字符串。Shell 脚本中的 $@ 会展开为传递给脚本的所有位置参数，在本例中是 xargs 提供的参数（两个书名）。
  • _：传递给 sh -c 的哑参数（dummy argument）。它成为 Shell 脚本中 $0 的值。我们在这里使用它是因为 sh -c 期望设置 $0，并且在使用 $@ 时它不会影响输出。

你应该会看到类似这样的输出：

Processing batch: Moby_Dick War_and_Peace
Processing batch: Ulysses Don_Quixote
Processing batch: The_Odyssey Madame_Bovary
Processing batch: Lolita Hamlet
Processing batch: The_Iliad Crime_and_Punishment

此命令演示了我们如何在利用并行处理的同时高效地分批处理大量项目。在这种情况下，我们成对处理书籍（由于 -n 2），并并行运行最多三个此类成对处理命令（由于 -P 3）。

这种方法的好处在于它允许你以可管理的块（在本例中是成对的书籍）处理项目，同时仍利用并行处理来加速整体操作。这在处理大型数据集或需要平衡处理速度与系统资源使用时特别有用。通过使用 sh -c，我们可以有效地在单次命令执行中处理由 -n 传递的多个参数，使 xargs 成为复杂处理工作流的灵活工具。在实际场景中，你可以将 echo 命令替换为旨在处理一批项目的更复杂的处理脚本。

总结

在本实验中，你学习了如何使用 xargs 命令来自动化文件管理任务。你探索了它的基本用法，学习了如何处理文件、限制参数、执行并行处理以及组合选项以进行高效的批处理。当你需要在 Linux 环境中处理大量数据或自动化重复性任务时，这些技能将非常宝贵。

以下是本实验未涵盖的一些其他 xargs 选项：

• -0：使用空字符（null character）作为分隔符而不是空格
• -L：每行命令行最多使用指定数量的非空输入行
• -s：每行命令行最多使用指定数量的字符
• -r：如果标准输入为空，则不运行命令
• -a：从文件而不是标准输入读取项目
• -E：设置 EOF（文件结束）字符串

请记住，xargs 的强大之处在于它的灵活性以及与其他 Linux 命令协作的能力。随着你继续使用 Linux，你会发现更多 xargs 可以帮助你自动化任务并提高生产力的场景。