Linux 文本列格式化

简介

文本列格式化是 Linux 中一项强大的技术，它能让你以结构化的表格格式来组织和显示数据。当处理包含分隔数据的纯文本文件时，如果没有适当的格式，内容会很难阅读。Linux 中的 column 命令通过将纯文本转换为格式整齐的列来解决这个问题。

本实验将指导你掌握 Linux 上的 column 实用工具。你将学习如何以表格格式显示文件内容，使数据更易于阅读和分析。这些技能在命令行环境下进行数据处理和可视化时至关重要。

Skills Graph

理解 column 命令基础

在这一步，你将学习如何使用 column 命令将文本格式化为对齐的列，使数据更易于阅读和理解。

column 命令是 Linux 中的一个实用工具，它可以将输入内容格式化为多列。当处理具有自然结构但以纯文本格式存储的数据时，这个工具特别有用。

创建示例数据文件

首先，创建一个简单的文本文件，其中包含你想要格式化的数据。你将在 ~/project 目录下创建一个名为 powers_list.txt 的文件，该文件包含超能力名称及其对应的英雄名称，两者用冒号分隔。

导航到项目目录：

cd ~/project

现在，使用带有 -e 选项的 echo 命令创建示例文件，该选项允许解释反斜杠转义字符（如 \n 表示换行）：

echo -e "Telekinesis:Jane\nInvisibility:John\nSuper Strength:Max" > ~/project/powers_list.txt

让我们查看一下刚刚创建的文件内容：

cat ~/project/powers_list.txt

你应该会看到如下输出：

Telekinesis:Jane
Invisibility:John
Super Strength:Max

这些数据使用冒号 (:) 作为超能力名称和英雄名称之间的分隔符。目前这种格式不太易于阅读。

使用 column 命令进行格式化

现在，使用 column 命令将这些数据转换为更易读的格式：

column -t -s ':' ~/project/powers_list.txt

在这个命令中：

• column 是你正在使用的实用工具
• -t 选项告诉命令生成类似表格的输出
• -s ':' 指定输入文件中的分隔符是冒号
• ~/project/powers_list.txt 是输入文件的路径

执行此命令后，你应该会看到以下输出：

Telekinesis     Jane
Invisibility    John
Super Strength  Max

注意，现在数据整齐地排列成列，阅读起来容易多了。column 命令会根据内容自动确定每列的宽度，并相应地对齐所有内容。

column 命令的这种基本用法展示了它在格式化文本数据以提高可读性方面的强大功能。

使用 Shell 脚本进行高级列格式化

在这一步，你将创建一个 Shell 脚本，以便更轻松地对具有不同分隔符的文本文件进行列格式化。这种方法在处理各种数据格式时能提供更大的灵活性和更高的效率。

理解 Shell 脚本

Shell 脚本是一个包含命令的文件，Shell 可以执行这些命令。通过组合多个命令并添加逻辑，你可以使用它来自动化任务。在这种情况下，你将创建一个简化文件列格式化过程的脚本。

创建 columnize 脚本

在 ~/project 目录下创建一个名为 columnize.sh 的脚本。这个脚本将接受两个参数：一个文件名和一个分隔符字符。

首先，如果你还不在项目目录中，请导航到该目录：

cd ~/project

现在，创建脚本文件：

touch columnize.sh

接下来，使用 nano 文本编辑器打开该文件：

nano columnize.sh

在文件中添加以下内容：

#!/bin/bash
## A script to columnize text files

## Check if the correct number of arguments are provided
if [ "$#" -ne 2 ]; then
  echo "Usage: $0 <filename> <delimiter>"
  echo "Example: $0 data.txt :"
  exit 1
fi

## Extract arguments
FILENAME=$1
DELIMITER=$2

## Check if the file exists
if [ ! -f "$FILENAME" ]; then
  echo "Error: File '$FILENAME' does not exist"
  exit 1
fi

## Format and output the content
column -t -s "$DELIMITER" "$FILENAME"

在 nano 中保存文件，按 Ctrl+O，然后按 Enter；要退出 nano，按 Ctrl+X。

下面来详细分析这个脚本的功能：

1. 第一行 (#!/bin/bash) 告诉系统使用 bash Shell 来执行该脚本。
2. 检查是否恰好提供了两个参数（一个文件名和一个分隔符）。
3. 将这些参数赋值给变量，以便于引用。
4. 检查指定的文件是否存在。
5. 最后，使用 column 命令，结合提供的文件名和分隔符进行操作。

使脚本可执行

在使用脚本之前，需要使其具有可执行权限：

chmod +x ~/project/columnize.sh

使用 columnize 脚本

现在可以使用这个脚本来对文本文件进行列格式化了。使用现有的 powers_list.txt 文件进行测试：

~/project/columnize.sh ~/project/powers_list.txt :

你应该会看到以下输出：

Telekinesis     Jane
Invisibility    John
Super Strength  Max

创建另一个使用不同分隔符的示例文件，以测试脚本的灵活性：

echo -e "Apple,Red,Fruit\nCarrot,Orange,Vegetable\nBlueberry,Blue,Fruit" > ~/project/foods.txt

现在，使用这个新文件和逗号作为分隔符来运行脚本：

~/project/columnize.sh ~/project/foods.txt ,

你应该会看到如下输出：

Apple      Red     Fruit
Carrot     Orange  Vegetable
Blueberry  Blue    Fruit

脚本成功地对两个文件中的数据进行了列格式化，并且使用了不同的分隔符。这展示了将 Shell 脚本与 column 实用工具结合使用的灵活性和强大功能。

处理不同的文件格式

在这一步，你将探索如何使用 column 命令处理各种文件格式和分隔符。这将帮助你理解 column 实用工具的多功能性，以及它如何应用于不同类型的数据。

处理 CSV 文件

CSV（逗号分隔值）文件是存储表格数据的常见格式。创建一个更复杂的 CSV 文件，并使用 column 命令对其进行格式化。

首先，创建一个新的 CSV 文件：

cd ~/project
echo -e "Name,Age,Occupation,City\nAlex,28,Engineer,Boston\nSamantha,35,Teacher,Chicago\nMohamed,42,Doctor,New York\nLin,31,Artist,San Francisco" > employees.csv

查看这个文件的内容：

cat employees.csv

你应该会看到：

Name,Age,Occupation,City
Alex,28,Engineer,Boston
Samantha,35,Teacher,Chicago
Mohamed,42,Doctor,New York
Lin,31,Artist,San Francisco

现在，使用 column 命令对这个 CSV 文件进行格式化：

column -t -s ',' employees.csv

输出应该如下所示：

Name       Age  Occupation  City
Alex       28   Engineer    Boston
Samantha   35   Teacher     Chicago
Mohamed    42   Doctor      New York
Lin        31   Artist      San Francisco

注意 column 命令是如何将数据整齐地排列成对齐的列，使数据更易于阅读。

处理 TSV 文件

TSV（制表符分隔值）是另一种常见的表格数据格式。创建一个 TSV 文件，并使用 column 命令对其进行格式化。

创建一个 TSV 文件：

echo -e "Product\tPrice\tCategory\nLaptop\t999.99\tElectronics\nBook\t12.50\tMedia\nChair\t149.50\tFurniture" > products.tsv

查看文件内容：

cat products.tsv

你应该会看到：

Product	Price	Category
Laptop	999.99	Electronics
Book	12.50	Media
Chair	149.50	Furniture

现在，使用 column 命令对其进行格式化。由于制表符是 column 命令的默认分隔符，因此无需指定分隔符：

column -t products.tsv

输出应该如下所示：

Product  Price   Category
Laptop   999.99  Electronics
Book     12.50   Media
Chair    149.50  Furniture

使用脚本处理不同的文件

现在，使用 columnize.sh 脚本来处理这些不同的文件：

对于 CSV 文件：

~/project/columnize.sh employees.csv ,

对于 TSV 文件：

~/project/columnize.sh products.tsv $'\t'

注意：在第二个命令中，使用 $'\t' 来表示制表符。这是 bash 中的一种特殊语法，允许包含制表符等特殊字符。

这两个命令都应该产生格式良好的输出，展示了脚本在处理不同文件格式和分隔符时的灵活性。

这一步展示了如何使用 column 命令和脚本对各种类型的表格数据进行格式化，使其更易于阅读和分析。

总结

在这个实验中，你学习了如何使用 column 命令将数据组织并以表格形式显示，从而使数据更易于阅读和分析。以下是你所完成内容的总结：

1. 你学习了 column 命令的基本用法，使用 -t 和 -s 选项对分隔的文本文件进行格式化。
2. 你创建了一个 Shell 脚本 (columnize.sh)，可以轻松地对任何带有任意分隔符的文件应用列格式化。
3. 你将这些技术应用于不同的文件格式（CSV 和 TSV），展示了 column 实用工具在处理各种数据类型时的灵活性。

这些技能在 Linux 环境下的数据处理和分析中非常有用。能够快速格式化和可视化文本数据，对于系统管理员、数据分析师以及任何在命令行中处理文本文件的人来说，都是一个强大的工具。

你所学的技术可以应用于以下方面：

• 日志文件分析
• 配置文件管理
• 数据提取和转换
• 结构化数据的快速可视化

通过掌握 column 命令并学习如何使用 Shell 脚本自动化其使用，你为自己的 Linux 命令行工具集增添了一个重要的工具。