介绍
欢迎来到 Linux 重复项过滤实验。在这个实验中，你将学习如何在 Linux 中使用 uniq 命令，它是过滤文本文件中重复数据的重要工具。该命令在处理日志文件、数据处理任务和文本操作时特别有用。
本实验的目标是教你如何有效地识别和删除文件中的重复行。你将学习如何独立使用 uniq 命令，以及如何将其与 sort 等其他命令结合使用，以实现更强大的过滤功能。这些技能对于系统管理员、数据分析师以及任何需要在 Linux 环境中处理文本数据的人来说都是基础技能。
理解 uniq 命令
在这一步中，你将学习 uniq 命令的基础知识，该命令用于过滤文本文件中的重复行。当处理日志、配置文件和其他需要识别或删除重复项的数据时，uniq 命令尤为重要。
让我们先创建一个示例文本文件来进行操作。我们将在 ~/project 目录下创建一个名为 duel_log.txt 的文件：
echo -e "sword\nsword\nshield\npotion\npotion\nshield" > ~/project/duel_log.txt
此命令创建的文件内容如下：
sword
sword
shield
potion
potion
shield
注意，这个文件中有重复的行——“sword”出现了两次，“potion”出现了两次，“shield”也出现了两次（但不是连续的）。
现在，让我们使用 uniq 命令来过滤相邻的重复行：
uniq ~/project/duel_log.txt
你应该会看到以下输出：
sword
shield
potion
shield
这里有个有趣的现象：uniq 命令移除了第二个“sword”和第二个“potion”，因为它们是相邻的重复项。然而，“shield”仍然出现了两次，因为它的重复项彼此不相邻。
这是一个需要理解的关键概念：**uniq 命令仅移除彼此相邻的重复行（连续重复项）**。如果相同的内容在文件的其他位置出现，但不与它的重复项相邻，uniq 不会将其过滤掉。
为了确认这种行为，让我们再次查看原始文件：
cat ~/project/duel_log.txt
将其与 uniq 命令的输出进行比较，你可以清楚地看到，只有相邻的重复项被移除了。
结合 sort 和 uniq 进行彻底的重复项移除
在上一步中，你了解到 uniq 命令仅能移除相邻的重复行。然而，在许多实际场景中，你需要移除文件中所有的重复项，而不管它们在文件中的位置如何。为了实现这一点，你可以将 sort 命令与 uniq 命令结合使用。
sort 命令按字母或数字顺序排列行，这样可以将重复的行放在一起。排序后，所有重复的行都会相邻，从而使 uniq 命令能够有效地移除所有重复项。
让我们先创建一个新文件来存储结果：
touch ~/project/sorted_duel_log.txt
现在，让我们使用 sort 命令按字母顺序排列原始文件中的行：
sort ~/project/duel_log.txt
你应该会看到以下输出：
potion
potion
shield
shield
sword
sword
注意 sort 命令是如何将所有重复的行分组在一起的。现在，让我们将这个排序后的输出通过管道传递给 uniq 命令，以移除重复项：
sort ~/project/duel_log.txt | uniq
输出应该是：
potion
shield
sword
完美！现在我们得到了一个移除了所有重复项的列表。让我们将这个输出保存到 sorted_duel_log.txt 文件中：
sort ~/project/duel_log.txt | uniq > ~/project/sorted_duel_log.txt
让我们验证一下新文件的内容：
cat ~/project/sorted_duel_log.txt
你应该会看到：
potion
shield
sword
sort 和 uniq 的这种组合是 Linux 中进行数据处理的强大技术。它使你能够高效地查找并移除文件中的所有重复条目，这对于数据清理和分析任务至关重要。
uniq 高级选项及实际应用
既然你已经了解了 uniq 命令的基本用法以及如何将其与 sort 命令结合使用，那么接下来让我们探索 uniq 命令的一些额外选项，这些选项会让它在数据处理任务中更加强大。
使用 -c 选项统计出现次数
-c 选项用于统计每行的出现次数。当你想知道文件中每个唯一行出现的次数时，这个选项非常有用：
sort ~/project/duel_log.txt | uniq -c
你应该会看到类似如下的输出：
2 potion
2 shield
2 sword
这表明在我们的原始文件中，每个条目都出现了两次。
使用 -d 选项仅查找重复行
如果你只对查找重复行（出现次数超过一次的行）感兴趣，可以使用 -d 选项：
sort ~/project/duel_log.txt | uniq -d
输出：
potion
shield
sword
由于我们文件中的所有条目都有重复项，因此所有条目都出现在了输出中。
创建仅包含唯一条目的文件
让我们创建一个内容更加多样的新文件，以便更好地演示 uniq 命令：
echo -e "apple\napple\napple\nbanana\ncherry\ncherry\ngrape" > ~/project/fruits.txt
让我们查看一下这个文件：
cat ~/project/fruits.txt
输出：
apple
apple
apple
banana
cherry
cherry
grape
现在，让我们使用 -u 选项来查找只出现一次的条目：
sort ~/project/fruits.txt | uniq -u
输出：
banana
grape
这表明“banana”和“grape”在我们的文件中只出现了一次。
实际应用：日志分析
让我们创建一个简单的日志文件来模拟实际应用场景：
echo -e "INFO: System started\nERROR: Connection failed\nINFO: User logged in\nWARNING: Low memory\nERROR: Connection failed\nINFO: System started" > ~/project/system.log
现在，让我们分析这个日志文件，找出出现了哪些类型的消息以及它们的出现次数：
cat ~/project/system.log | sort | uniq -c
输出应该类似于：
2 ERROR: Connection failed
2 INFO: System started
1 INFO: User logged in
1 WARNING: Low memory
这能让你快速了解日志文件中事件的类型及其出现频率。
你还可以使用 cut 命令仅提取消息类型（INFO、ERROR、WARNING）：
cat ~/project/system.log | cut -d: -f1 | sort | uniq -c
输出：
2 ERROR
3 INFO
1 WARNING
这个分析表明，在 6 条日志条目中，有 3 条是 INFO 消息，2 条是 ERROR 消息，1 条是 WARNING 消息。
这些示例展示了如何将 sort、uniq 和 cut 等简单命令组合起来，在 Linux 中创建强大的数据处理管道。
总结
在本次实验中，你学习了如何在 Linux 中使用 uniq 命令来过滤文本文件中的重复行。以下是你所掌握的关键概念和技能：
uniq基本用法：你了解到uniq命令可以从文件中移除相邻的重复行。这对于基本的重复项过滤很有用，但存在一定的局限性。- **结合使用
sort和uniq**：你发现，若要移除文件中所有的重复项，而不管它们在文件中的位置如何，需要先使用sort命令对文件进行排序，然后再使用uniq命令进行过滤。 uniq高级选项：-c选项：用于统计每行的出现次数。-d选项：仅显示重复行。-u选项：仅显示唯一行（即只出现一次的行）。
- 实际应用：你了解了这些命令在实际场景中的应用，例如：
- 分析日志文件。
- 查找并统计唯一条目。
- 数据清理和预处理。
这些技能是在 Linux 环境中处理文本数据的基础，也为更高级的数据处理任务奠定了基石。像 sort 和 uniq 这样的简单命令组合在一起，可以创建强大的数据处理管道，帮助你高效地管理和分析文本数据。
