join и split

Команды join и split решают разные задачи обработки файлов. join объединяет связанные записи двух отсортированных текстовых источников, а split делит один источник на последовательность меньших файлов.

people.txt:

1 John
2 Jane
3 Mary

surnames.txt:

1 Doe
2 Doe
3 Sue

Объединим записи с одинаковыми ключевыми полями:

$ join people.txt surnames.txt
1 John Doe
2 Jane Doe
3 Mary Sue

Вывод содержит общий ключ один раз, а затем остальные поля первого и второго файлов. join обрабатывает два файла за раз и не принимает три обычных файловых операнда как трёхстороннее реляционное объединение.

Одинаковая локаль сортировки и объединения обеспечивает согласованные правила сопоставления. Не перенаправляйте результат sort обратно в тот же входной путь: оболочка сначала усечёт файл.

А второй:

1 Doe
2 Doe
3 Sue

После сортировки первого файла по полю 2, а второго по полю 1 выполните:

$ join -1 2 -2 1 people.txt surnames.txt
1 John Doe
2 Jane Doe
3 Mary Sue

Используйте -t CHARACTER, если поля разделяет один непробельный символ, например :. Параметры -a 1 и -a 2 позволяют включить несопоставленные строки соответствующего источника; по умолчанию выводятся только совпавшие ключи.

По умолчанию GNU-реализация записывает до 1000 строк в каждый выходной файл и использует префикс x, создавая имена вроде xaa, xab и xac.

Задайте число строк параметром -l NUMBER, а последним операндом — префикс выходных файлов:

$ split -l 500 large.txt part-

Будут созданы part-aa, part-ab и последующие части, каждая не более чем по 500 строк.

Команда запрашивает части по 10 мебибайтов, кроме, возможно, меньшей последней. split не создаёт манифест архива или метаданные сборки; при необходимости восстановления сохраняйте порядок суффиксов и объединяйте части в нём.

Чтобы попрактиковаться в объединении по ключам и обработке структурированных данных, выполните лабораторные работы:

1. Команда join в Linux: объединение файлов — попрактикуйтесь объединять строки двух отсортированных текстовых файлов по общему полю.
2. Обработка данных сотрудников — примените join и другие утилиты командной строки, включая awk, для объединения и обработки данных из нескольких источников.