Pandas: Чтение внешних данных

Введение

В анализе данных первым шагом часто является загрузка данных в структурированный формат. Pandas, мощная библиотека Python, отлично справляется с этой задачей. Наиболее распространенной функцией для чтения данных из плоских файлов, таких как CSV, является pandas.read_csv(). Эта функция невероятно гибка и предлагает широкий спектр параметров для работы с различными форматами файлов и потенциальными проблемами.

В этой лабораторной работе вы научитесь использовать pd.read_csv() для импорта данных из CSV-файла в Pandas DataFrame. Мы рассмотрим, как обрабатывать комментарии, указывать заголовки, управлять пропущенными значениями и выполнять первоначальный осмотр загруженных данных.

Чтение CSV-файла с помощью read_csv

На этом шаге вы изучите базовое использование функции pd.read_csv() для загрузки данных из CSV-файла в Pandas DataFrame.

В нашем каталоге проекта ~/project находится файл с именем data.csv. Давайте рассмотрим его содержимое. Он включает несколько строк комментариев в начале, которые начинаются с символа #. Функция read_csv может быть настроена на игнорирование этих строк с помощью параметра comment.

Сначала откройте файл main.py из файлового проводника слева. Мы будем писать наш Python-код в этом файле.

Добавьте следующий код в main.py для импорта Pandas и чтения файла data.csv. Мы присвоим полученный DataFrame переменной df, а затем выведем ее на печать.

import pandas as pd

## Читаем CSV файл, рассматривая строки, начинающиеся с '#' как комментарии
df = pd.read_csv('data.csv', comment='#')

## Выводим DataFrame на печать
print(df)

Теперь, чтобы запустить скрипт, откройте терминал в WebIDE (вы можете использовать меню Terminal > New Terminal) и выполните следующую команду:

python3 main.py

Вы должны увидеть следующий вывод, который показывает содержимое CSV-файла, загруженное в структурированный DataFrame.

   id     name          age         city
0   1    Alice           25     New York
1   2      Bob           30  Los Angeles
2   3  Charlie  Not Available       London
3   4    David           35          NaN
4   5      Eve           22        Paris

Указание строки заголовка в read_csv

На этом шаге мы изучим параметр header функции read_csv.

По умолчанию read_csv предполагает, что первая строка файла, не являющаяся комментарием и не пропущенная, является строкой заголовка, содержащей имена столбцов. В нашем файле data.csv после пропуска строк комментариев строка id,name,age,city корректно определяется как заголовок.

Параметр header позволяет явно указать, какую строку использовать в качестве заголовка. Он принимает целое число, представляющее индекс строки (начиная с 0). Поскольку первая строка данных (после комментариев) является нашим заголовком, ее индекс равен 0.

Давайте изменим файл main.py, чтобы явно установить header=0. Хотя в нашем случае это поведение по умолчанию, явное указание может предотвратить ошибки с файлами необычного формата.

Обновите ваш main.py следующим кодом:

import pandas as pd

## Явно указываем, что первая строка (индекс 0) после комментариев является заголовком
df = pd.read_csv('data.csv', comment='#', header=0)

print(df)

Снова запустите скрипт из терминала:

python3 main.py

Вывод будет идентичен предыдущему шагу, поскольку мы только подтвердили поведение по умолчанию. Эта практика полезна для ясности и надежности кода.

   id     name          age         city
0   1    Alice           25     New York
1   2      Bob           30  Los Angeles
2   3  Charlie  Not Available       London
3   4    David           35          N/A
4   5      Eve           22        Paris

Обработка пропущенных значений с помощью параметра na_values

На этом шаге вы научитесь обрабатывать пользовательские представления пропущенных данных.

Если вы посмотрите на DataFrame из предыдущего шага, вы увидите значения "Not Available" в столбце age и NaN в столбце city. Pandas автоматически распознает некоторые распространенные индикаторы пропущенных значений, такие как пустые строки, NA или N/A, но не пользовательские, такие как "Not Available". Мы можем использовать параметр na_values для предоставления списка строк, которые должны интерпретироваться как NaN (Not a Number), что является стандартным маркером Pandas для пропущенных данных.

Измените ваш main.py, чтобы включить параметр na_values.

import pandas as pd

## Определяем список строк, которые будут считаться пропущенными значениями
missing_values = ["Not Available", "N/A"]

## Читаем CSV, указывая пользовательские пропущенные значения
df = pd.read_csv('data.csv', comment='#', na_values=missing_values)

print(df)

Теперь запустите скрипт:

python3 main.py

Обратите внимание на новый вывод. Строка "Not Available" была заменена на NaN.

   id     name   age         city
0   1    Alice  25.0     New York
1   2      Bob  30.0  Los Angeles
2   3  Charlie   NaN       London
3   4    David  35.0          NaN
4   5      Eve  22.0        Paris

Обратите внимание, что тип данных столбца age также изменился на float64 для размещения значения NaN.

Отображение первых строк с помощью метода head

На этом шаге мы научимся просматривать первые несколько строк DataFrame.

При работе с большими наборами данных вывод всего DataFrame неэффективен и может загромождать экран. Метод .head() — это удобный способ быстрого предварительного просмотра ваших данных. По умолчанию он возвращает первые 5 строк.

Вы также можете передать целое число в .head(), чтобы указать количество строк, которое вы хотите увидеть. Давайте отобразим только первые 3 строки нашего DataFrame.

Обновите ваш файл main.py следующим образом. Вместо вывода всего DataFrame мы теперь выведем только его начало.

import pandas as pd

missing_values = ["Not Available", "N/A"]
df = pd.read_csv('data.csv', comment='#', na_values=missing_values)

## Отображаем первые 3 строки DataFrame
print(df.head(3))

Выполните скрипт из вашего терминала:

python3 main.py

Вывод теперь будет намного короче, показывая только заголовок и первые три записи.

   id     name   age         city
0   1    Alice  25.0     New York
1   2      Bob  30.0  Los Angeles
2   3  Charlie   NaN       London

Проверка формы DataFrame с помощью атрибута shape

На этом шаге вы научитесь проверять размеры вашего DataFrame.

Знание количества строк и столбцов является фундаментальной проверкой при анализе данных. Объекты Pandas DataFrame имеют атрибут .shape, который возвращает кортеж, содержащий количество строк и столбцов.

Обратите внимание, что .shape — это атрибут, а не метод, поэтому при доступе к нему вы не используете скобки ().

Давайте изменим main.py, чтобы вывести форму нашего DataFrame.

import pandas as pd

missing_values = ["Not Available", "N/A"]
df = pd.read_csv('data.csv', comment='#', na_values=missing_values)

## Получаем размеры (строки, столбцы) DataFrame
df_shape = df.shape

print(df_shape)

Запустите скрипт в последний раз:

python3 main.py

Вывод будет представлять собой кортеж, указывающий, что наш DataFrame имеет 5 строк и 4 столбца.

(5, 4)

Резюме

Поздравляем с завершением этой лабораторной работы! Вы освоили основные навыки чтения и анализа данных с использованием Pandas.

В этой лабораторной работе вы научились:

• Читать CSV-файл в DataFrame с помощью pd.read_csv().
• Пропускать строки с комментариями с помощью параметра comment.
• Явно определять строку заголовка с помощью параметра header.
• Обрабатывать пользовательские пропущенные значения с помощью параметра na_values.
• Предварительно просматривать DataFrame с помощью метода .head().
• Проверять размеры DataFrame с помощью атрибута .shape.

Это фундаментальные операции, которые являются отправной точкой практически для любой задачи анализа данных. Обладая этими навыками, вы теперь лучше подготовлены к решению различных задач импорта данных.