Linux 换行符过滤

简介

在 Linux 系统中处理文本文件时，你可能会遇到行尾不一致的问题。当文件在 Windows 和 Linux 等不同操作系统之间传输时，这种不一致性经常会出现。

在这个实验中，你将了解 Linux 中的换行符，以及如何使用命令行工具正确处理它们。你将理解不同操作系统之间行尾的差异，并掌握使用 col 命令过滤文本文件中的换行符。

对于在混合环境中工作的系统管理员和开发人员来说，这项基础技能至关重要，它有助于确保文本文件无论来源如何都能得到正确处理。

Skills Graph

理解不同操作系统中的行尾表示

不同的操作系统使用不同的字符来表示文本文件中的行尾：

• Linux/Unix：使用换行符（Line Feed, LF, \n）
• Windows：使用回车符 + 换行符（Carriage Return + Line Feed, CRLF, \r\n）
• 经典 Mac OS：使用回车符（Carriage Return, CR, \r）

当处理来自不同系统的文件时，这些差异可能会导致文本处理工具出现格式问题或意外行为。

让我们为实验创建一个目录：

mkdir -p ~/project/line_feeds
cd ~/project/line_feeds

首先，让我们创建一个具有 Unix 风格行尾（LF）的简单文本文件：

echo -e "This is line 1.\nThis is line 2.\nThis is line 3." > unix_file.txt

现在，让我们创建一个具有 Windows 风格行尾（CRLF）的文件：

echo -e "This is line 1.\r\nThis is line 2.\r\nThis is line 3." > windows_file.txt

为了查看这些文件之间的差异，我们可以使用带有 -v 选项的 cat 命令，该选项会显示不可打印字符：

cat -v unix_file.txt

你应该会看到类似以下的输出：

This is line 1.
This is line 2.
This is line 3.

现在检查 Windows 风格的文件：

cat -v windows_file.txt

你应该会看到类似以下的输出：

This is line 1.^M
This is line 2.^M
This is line 3.

^M 字符表示回车符（\r），它是 Windows 行尾的一部分。在 Linux 中处理文件时，这些字符可能会导致问题。

介绍用于过滤换行符的 col 命令

Linux 提供了多种工具来处理行尾问题。其中一个工具是 col 命令，它主要用于过滤反向换行符，但也可以处理其他特殊字符。

让我们首先了解 col 命令的基本用法：

man col | head -20

对于我们的需求来说，col 最有用的选项是 -b，它会告诉 col 移除所有退格符以及被退格覆盖的字符。这对于移除我们在 Windows 风格行尾中看到的回车符（\r）也很有用。

让我们创建一个包含混合行尾的文件来进行演示：

cd ~/project/line_feeds
cat > mixed_file.txt << EOF
This line has Unix endings.
This line has Windows endings.^M
Another Unix line.
Another Windows line.^M
EOF

注意：^M 字符实际上是在终端中先按下 Ctrl+V 再按下 Ctrl+M 输入的。

现在让我们查看这个文件：

cat -v mixed_file.txt

你应该会看到：

This line has Unix endings.
This line has Windows endings.^M
Another Unix line.
Another Windows line.^M

现在我们可以使用 col 命令来清理这些行尾：

col -b < mixed_file.txt > cleaned_file.txt

让我们检查结果：

cat -v cleaned_file.txt

现在你应该会看到：

This line has Unix endings.
This line has Windows endings.
Another Unix line.
Another Windows line.

注意，^M 字符（回车符）已被移除，只留下了换行符，这是 Linux 文本文件的正确格式。

处理实际示例

现在，让我们将所学知识应用到一些更实际的示例中。系统日志、配置文件和脚本通常需要进行处理，以确保行尾的一致性。

让我们创建一个包含混合行尾的示例日志文件：

cd ~/project/line_feeds
cat > server_log.txt << EOF
[2023-05-15 08:00:01] Server started^M
[2023-05-15 08:05:23] User login: admin
[2023-05-15 08:10:45] Configuration updated^M
[2023-05-15 08:15:30] Backup process started
[2023-05-15 08:30:12] Backup completed^M
[2023-05-15 09:00:00] Scheduled maintenance started
EOF

让我们查看这个文件：

cat -v server_log.txt

你会看到某些行末尾有回车符（^M）：

[2023-05-15 08:00:01] Server started^M
[2023-05-15 08:05:23] User login: admin
[2023-05-15 08:10:45] Configuration updated^M
[2023-05-15 08:15:30] Backup process started
[2023-05-15 08:30:12] Backup completed^M
[2023-05-15 09:00:00] Scheduled maintenance started

现在，让我们清理这个日志文件：

col -b < server_log.txt > clean_server_log.txt

检查结果：

cat -v clean_server_log.txt

输出应该不再包含回车符：

[2023-05-15 08:00:01] Server started
[2023-05-15 08:05:23] User login: admin
[2023-05-15 08:10:45] Configuration updated
[2023-05-15 08:15:30] Backup process started
[2023-05-15 08:30:12] Backup completed
[2023-05-15 09:00:00] Scheduled maintenance started

让我们创建另一个常见示例——一个行尾不一致的脚本文件：

cd ~/project/line_feeds
cat > script.sh << EOF
#!/bin/bash^M
## This is a sample script^M
echo "Starting script..."^M
for i in {1..5}
do^M
    echo "Processing item $i"^M
done
echo "Script completed."
EOF

让我们检查这个文件：

cat -v script.sh

你会看到：

#!/bin/bash^M
## This is a sample script^M
echo "Starting script..."^M
for i in {1..5}
do^M
    echo "Processing item $i"^M
done
echo "Script completed."

现在清理这个脚本文件：

col -b < script.sh > clean_script.sh
chmod +x clean_script.sh

检查结果：

cat -v clean_script.sh

输出现在应该显示一致的行尾：

#!/bin/bash
## This is a sample script
echo "Starting script..."
for i in {1..5}
do
    echo "Processing item $i"
done
echo "Script completed."

对于 shell 脚本来说，保持一致的行尾尤为重要，因为混合的行尾可能会导致执行错误。

处理行尾的其他方法

虽然 col 命令可用于过滤换行符，但 Linux 还提供了其他专门用于在不同格式之间转换行尾的工具。让我们来探索其中一些替代方法。

使用 dos2unix 和 unix2dos 命令

dos2unix 和 unix2dos 实用工具专门用于在 DOS/Windows 和 Unix 格式之间转换文本文件。

首先，让我们安装这些实用工具：

sudo apt update
sudo apt install -y dos2unix

现在，让我们创建另一个 Windows 风格的文件进行测试：

cd ~/project/line_feeds
cat > config.ini << EOF
[General]^M
Username=admin^M
Password=12345^M
Debug=true^M

[Network]^M
Host=127.0.0.1^M
Port=8080^M
Timeout=30^M
EOF

检查文件：

cat -v config.ini

你应该会看到回车符（^M）：

[General]^M
Username=admin^M
Password=12345^M
Debug=true^M

[Network]^M
Host=127.0.0.1^M
Port=8080^M
Timeout=30^M

现在，让我们使用 dos2unix 来转换这个文件：

dos2unix config.ini

此命令会直接修改文件。让我们检查结果：

cat -v config.ini

回车符应该已经消失：

[General]
Username=admin
Password=12345
Debug=true

[Network]
Host=127.0.0.1
Port=8080
Timeout=30

使用 tr 命令

另一种方法是使用 tr 命令，它可以翻译或删除字符：

cd ~/project/line_feeds
cat > tr_example.txt << EOF
This is a Windows-style file^M
with carriage returns^M
at the end of each line.^M
EOF

检查文件：

cat -v tr_example.txt

你会看到：

This is a Windows-style file^M
with carriage returns^M
at the end of each line.^M

现在使用 tr 删除回车符：

tr -d '\r' < tr_example.txt > tr_cleaned.txt

检查结果：

cat -v tr_cleaned.txt

输出应该是：

This is a Windows-style file
with carriage returns
at the end of each line.

方法比较

让我们总结一下所学的方法：

1. col -b：适用于过滤回车符和其他特殊字符
2. dos2unix：专门用于将 Windows/DOS 文本文件转换为 Unix 格式
3. tr -d '\r'：使用字符翻译的简单方法

每种方法都有其优点：

• col 功能多样，可处理各种特殊字符
• dos2unix 专为行尾转换而设计
• tr 是一种简单的解决方案，几乎在所有 Unix 系统上都可用

对于大多数行尾转换任务，dos2unix 是最直接的工具。不过，了解所有这些方法能让你在处理不同系统时更具灵活性。

总结

在本次实验中，你学习了 Linux 中的换行符过滤以及如何处理不同的行尾格式：

1. 你了解了不同操作系统使用的不同行尾约定：

   • Linux/Unix：换行符（LF，\n）
   • Windows：回车符 + 换行符（CRLF，\r\n）
   • 经典 Mac OS：回车符（CR，\r）

2. 你练习了使用 cat -v 等工具创建和检查具有不同行尾的文件。

3. 你学习了如何使用带有 -b 选项的 col 命令来过滤回车符和其他特殊字符。

4. 你将这些知识应用到了日志文件和 shell 脚本等实际示例中。

5. 你探索了处理行尾的其他方法，包括：

   • 用于将 Windows/DOS 文本文件转换为 Unix 格式的 dos2unix 实用工具
   • 用于翻译或删除特定字符的 tr 命令

这些技能对于在混合环境中工作的系统管理员和开发人员至关重要，因为文件可能来自不同的操作系统。正确处理行尾可确保兼容性，并防止文本处理任务中出现意外行为。