💡 Этот учебник переведен с английского с помощью ИИ. Чтобы просмотреть оригинал, вы можете перейти на английский оригинал
В области науки о данных и программировании обработка CSV-файлов часто требует надежных методов для фильтрации и очистки некорректных строк. В этом руководстве рассматриваются методы на Python для обнаружения и удаления проблемных записей данных, обеспечивающих высококачественные наборы данных для анализа и приложений машинного обучения.
CSV (Comma-Separated Values, значения, разделенные запятыми) — это простой, широко используемый формат файлов для хранения табличных данных. Каждая строка в CSV-файле представляет строку данных, при этом отдельные значения разделяются запятыми. Этот формат популярен благодаря своей простоте и совместимости с различными инструментами обработки данных.
Типичный CSV-файл выглядит так:
name,age,city
John Doe,30,New York
Alice Smith,25,San Francisco
Bob Johnson,35,ChicagoPython предоставляет встроенный модуль csv для эффективной обработки CSV-файлов:
import csv
## Reading CSV file
with open('data.csv', 'r') as file:
csv_reader = csv.reader(file)
headers = next(csv_reader) ## Read header row
for row in csv_reader:
print(row)| Проблема | Описание | Решение |
|---|---|---|
| Несогласованные данные | Строки с отсутствующими или неверными значениями | Валидация данных |
| Несколько разделителей | Использование разных разделителей | Указать разделитель |
| Проблемы с кодировкой | Нестандартная кодировка символов | Установить правильную кодировку |
При работе с CSV-файлами в области анализа данных LabEx рекомендует всегда реализовывать базовую валидацию данных, чтобы обеспечить их качество и надежность.
Некорректные строки в CSV-файлах могут появляться по различным причинам, таким как:
def is_valid_row(row):
## Check row has correct number of columns
if len(row) != expected_columns:
return False
## Check for empty or None values
if any(value is None or value.strip() == '' for value in row):
return False
return Truedef validate_row_types(row):
try:
## Validate age is numeric
age = int(row[1])
## Validate email format
if not re.match(r"[^@]+@[^@]+\.[^@]+", row[2]):
return False
return True
except ValueError:
return False| Тип валидации | Описание | Пример |
|---|---|---|
| Валидация с использованием регулярных выражений (Regex Validation) | Сопоставление с шаблоном | Email, номер телефона |
| Валидация диапазона (Range Validation) | Проверка диапазона значений | Возраст от 0 до 120 лет |
| Уникальное ограничение (Unique Constraint) | Гарантия уникальности значений | Нет дублирующихся идентификаторов |
def filter_csv_data(input_file, output_file):
valid_rows = []
with open(input_file, 'r') as file:
csv_reader = csv.reader(file)
headers = next(csv_reader)
for row in csv_reader:
if is_valid_row(row) and validate_row_types(row):
valid_rows.append(row)
with open(output_file, 'w', newline='') as file:
csv_writer = csv.writer(file)
csv_writer.writerow(headers)
csv_writer.writerows(valid_rows)При работе с валидацией данных LabEx рекомендует реализовывать несколько уровней валидации, чтобы обеспечить целостность и надежность данных.
def remove_duplicates(input_file, output_file):
unique_rows = set()
cleaned_data = []
with open(input_file, 'r') as file:
csv_reader = csv.reader(file)
headers = next(csv_reader)
for row in csv_reader:
row_tuple = tuple(row)
if row_tuple not in unique_rows:
unique_rows.add(row_tuple)
cleaned_data.append(row)
with open(output_file, 'w', newline='') as file:
csv_writer = csv.writer(file)
csv_writer.writerow(headers)
csv_writer.writerows(cleaned_data)| Стратегия | Описание | Пример |
|---|---|---|
| Удаление (Deletion) | Удаление строк с пропущенными значениями | Удаление неполных записей |
| Замена (Imputation) | Заполнение пропущенных значений | Среднее, медиана, мода |
| Заполнение заполнителем (Placeholder) | Использование значений по умолчанию | 'Unknown', 0, N/A |
def normalize_data(data):
## Lowercase string columns
data = [row.lower() for row in data]
## Trim whitespace
data = [row.strip() for row in data]
## Standardize date formats
def standardize_date(date_string):
try:
return datetime.strptime(date_string, '%m/%d/%Y').strftime('%Y-%m-%d')
except ValueError:
return Nonedef clean_csv_dataset(input_file, output_file):
with open(input_file, 'r') as file:
csv_reader = csv.reader(file)
headers = next(csv_reader)
cleaned_data = []
for row in csv_reader:
## Apply multiple cleaning steps
cleaned_row = normalize_row(row)
validated_row = validate_row(cleaned_row)
if validated_row:
cleaned_data.append(validated_row)
## Write cleaned data
with open(output_file, 'w', newline='') as file:
csv_writer = csv.writer(file)
csv_writer.writerow(headers)
csv_writer.writerows(cleaned_data)При очистке наборов данных в формате CSV LabEx предлагает системный подход:
Освоив методы фильтрации CSV-файлов на Python, разработчики могут эффективно очищать и валидировать наборы данных, удаляя некорректные строки и повышая общую целостность данных. Эти навыки являются важными для предварительной обработки данных, что позволяет проводить более точный и надежный анализ данных в различных областях.
