如何在 Linux 中使用 tr 命令对文本进行去重

简介

本教程将引导你了解 Linux 中 tr（翻译）命令的基础知识，这是一个用于操作和转换文本数据的多功能工具。你将学习如何使用 tr 命令删除重复字符，并探索其在各种文本处理任务中的实际用法示例。

Skills Graph

了解 Linux 中的 tr 命令

tr（翻译）命令是 Linux 命令行环境中的一个强大工具，可让你操作和转换文本数据。它主要用于字符替换、删除和翻译，是各种文本处理任务的通用实用工具。

tr 命令的基本语法如下：

tr [选项] SET1 [SET2]

这里，SET1 和 SET2 表示要进行翻译或操作的字符集。tr 命令可以执行以下操作：

1. 字符替换：将输入流中的字符替换为 SET2 中的相应字符。例如，tr 'abc' 'xyz' 会将所有出现的 'a' 替换为 'x'，'b' 替换为 'y'，'c' 替换为 'z'。

2. 字符删除：从输入流中删除 SET1 中出现的字符。例如，tr -d 'aeiou' 会从输入中删除所有元音。

3. 字符压缩：将 SET1 中多个连续出现的字符缩减为单个实例。这可以使用 -s（压缩）选项来实现。例如，tr -s ' ' 会将多个连续的空格替换为单个空格。

tr 命令还支持字符类，它们是可在 SET1 和 SET2 中使用的预定义字符集。一些常见的字符类包括：

• [:alnum:]：字母数字字符（a-z、A-Z、0-9）
• [:alpha:]：字母字符（a-z、A-Z）
• [:digit:]：数字字符（0-9）
• [:lower:]：小写字母字符（a-z）
• [:upper:]：大写字母字符（A-Z）
• [:space:]：空白字符（空格、制表符、换行符等）

以下是使用 tr 命令将所有大写字母转换为小写字母的示例：

echo "HELLO, WORLD!" | tr '[:upper:]' '[:lower:]'

输出：

hello, world!

通过了解 tr 命令的基本语法和功能，你可以利用它执行各种文本操作任务，使其成为你 Linux 命令行工具库中的一个有价值的工具。

使用 tr 命令删除重复字符

tr 命令的常见用途之一是从文本数据中删除重复字符。在处理数据文件、日志或任何需要消除冗余字符的基于文本的信息时，这特别有用。

要使用 tr 命令删除重复字符，可以利用 -s（压缩）选项。此选项会将 SET1 中指定的字符的连续出现替换为单个实例。

以下是使用 tr 命令删除重复字符的示例：

echo "Hello, world! Hello, world!" | tr -s ' '

输出：

Hello, world! Hello, world!

在上述示例中，tr -s ' ' 命令将所有连续的空格替换为单个空格，有效地删除了任何重复的空格。

你还可以使用字符类来删除重复字符。例如，要从字符串中删除所有重复的字母字符（a-z、A-Z），可以使用以下命令：

echo "AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz" | tr -s '[:alpha:]'

输出：

AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz

通过使用 [:alpha:] 字符类，tr 命令将删除任何连续的重复字母字符，只保留每个字符的单个实例。

tr 命令删除重复字符的功能在数据清理、日志分析以及其他需要消除冗余信息并维护干净、简洁数据集的文本处理任务中特别有用。

tr 命令用于去重的实际示例

tr 命令删除重复字符的功能可应用于各种实际场景。让我们通过一些示例来展示它的实用性。

去除文本文件中的重复单词

假设你有一个包含单词列表的文本文件，并且你想删除任何重复的单词以创建一个唯一的列表。你可以将 tr 命令与 sort 和 uniq 等其他工具结合使用来实现这一点：

cat word_list.txt | tr -s '[:alpha:]' '\n' | sort | uniq

解释：

• cat word_list.txt 读取 word_list.txt 文件的内容。
• tr -s '[:alpha:]' '\n' 将所有连续的字母字符替换为换行符，有效地将每个单词分隔到新的一行。
• sort 按字母顺序排列单词。
• uniq 删除任何连续的重复行，只留下唯一的单词。

这组命令将输出输入文件中的唯一单词列表。

去除 CSV 文件中的列重复项

在处理 CSV（逗号分隔值）数据时，你可能会遇到需要删除特定列中重复值的情况。你可以将 tr 命令与 cut 结合使用来实现这一点：

cat data.csv | tr -s ',' '\n' | cut -d',' -f3 | sort | uniq

解释：

• cat data.csv 读取 data.csv 文件的内容。
• tr -s ',' '\n' 将所有连续的逗号替换为换行符，有效地将每一行分隔为单独的行。
• cut -d',' -f3 从每一行中提取第三列（字段）。
• sort 按字母顺序排列值。
• uniq 删除任何连续的重复行，只留下 CSV 文件第三列中的唯一值。

这个命令序列将输出 CSV 文件第三列中的唯一值列表。

这些示例展示了如何将 tr 命令与其他 Linux 实用工具结合使用来执行实际的文本操作和去重任务。通过了解 tr 命令的多功能性，你可以简化数据处理工作流程并维护干净、去重的数据集。

总结

tr 命令是一个强大的 Linux 实用工具，可让你执行字符替换、删除和翻译操作。通过了解其基本语法和功能，你可以利用 tr 命令简化文本处理工作流程，包括删除重复字符。本教程为你提供了相关知识和示例，以便在 Linux 环境中有效地使用 tr 命令满足你的文本去重需求。