💡 Dieser Artikel wurde von AI-Assistenten übersetzt. Um die englische Version anzuzeigen, können Sie hier klicken
Das Umgang mit fehlenden oder beschädigten Daten in Python-CSV-Dateien kann für Entwickler eine häufige Herausforderung sein. In diesem Tutorial werden Sie durch den Prozess des Verständnisses von CSV-Daten in Python, der Behandlung fehlender Werte und der Behebung beschädigter CSV-Daten geführt, um die Integrität Ihrer datengesteuerten Projekte sicherzustellen.
CSV (Comma-Separated Values, deutsch: durch Kommas getrennte Werte) ist ein weit verbreitetes Dateiformat zum Speichern und Austauschen von tabellarischen Daten. In Python bietet das eingebaute csv-Modul eine bequeme Möglichkeit, mit CSV-Dateien zu arbeiten.
Eine CSV-Datei ist eine reine Textdatei, die Daten in tabellarischer Form speichert. Dabei repräsentiert jede Zeile einen Datensatz, und jede Spalte ein Feld oder Attribut dieses Datensatzes. Die Werte in jeder Zeile werden durch ein Trennzeichen getrennt, typischerweise ein Komma (,), aber auch andere Trennzeichen wie Semikolons (;) oder Tabulatoren (\t) können verwendet werden.
Um in Python mit CSV-Daten zu arbeiten, können Sie das csv-Modul verwenden, das Funktionen und Klassen zum Lesen und Schreiben von CSV-Dateien bereitstellt. Hier ist ein Beispiel, wie man eine CSV-Datei liest:
import csv
with open('data.csv', 'r') as file:
reader = csv.reader(file)
for row in reader:
print(row)Dieser Code öffnet die data.csv-Datei, erstellt ein csv.reader-Objekt und iteriert dann über jede Zeile in der Datei, wobei der Inhalt jeder Zeile ausgegeben wird.
Eine typische CSV-Datei hat die folgende Struktur:
header_row, header_row, header_row
data_row, data_row, data_row
data_row, data_row, data_rowDie erste Zeile ist normalerweise die Kopfzeile, die die Namen der Spalten enthält. Die folgenden Zeilen enthalten die eigentlichen Daten.
Standardmäßig verwendet das csv-Modul in Python ein Komma (,) als Trennzeichen. Sie können jedoch ein anderes Trennzeichen angeben, wenn Sie eine CSV-Datei lesen oder schreiben:
import csv
with open('data.tsv', 'r') as file:
reader = csv.reader(file, delimiter='\t')
for row in reader:
print(row)In diesem Beispiel ist die CSV-Datei tabulatorgetrennt (TSV), daher verwenden wir '\t' als Trennzeichen.
In diesem Abschnitt haben Sie die Grundlagen von CSV-Daten in Python kennengelernt, einschließlich der Struktur einer CSV-Datei, wie man mit dem csv-Modul auf CSV-Daten zugreift und wie man verschiedene Trennzeichen behandelt. Dieses Verständnis wird von entscheidender Bedeutung sein, wenn Sie fortfahren und mit fehlenden oder beschädigten Daten in CSV-Dateien umgehen.
Fehlende Daten sind ein häufiges Problem beim Umgang mit CSV-Dateien. Python's csv-Modul bietet mehrere Möglichkeiten, um fehlende Werte in CSV-Daten zu behandeln.
Fehlende Werte in einer CSV-Datei können auf verschiedene Weise dargestellt werden, wie z. B. leere Zellen, "null", "NA" oder "NaN". Um diese fehlenden Werte zu identifizieren, können Sie die Option csv.QUOTE_NONNUMERIC verwenden, wenn Sie das csv.reader-Objekt erstellen:
import csv
with open('data.csv', 'r') as file:
reader = csv.reader(file, quoting=csv.QUOTE_NONNUMERIC)
for row in reader:
print(row)Dies wird automatisch alle nicht-numerischen Werte in None umwandeln, was in Python für einen fehlenden Wert steht.
Sobald Sie die fehlenden Werte identifiziert haben, können Sie sie je nach Ihren Anforderungen auf verschiedene Weise behandeln:
Sie können die fehlenden Werte mit einem bestimmten Wert auffüllen, wie z. B. 0 oder "unknown":
import csv
with open('data.csv', 'r') as file:
reader = csv.reader(file, quoting=csv.QUOTE_NONNUMERIC)
data = []
for row in reader:
row = [value if value is not None else 0 for value in row]
data.append(row)Wenn Sie die Zeilen mit fehlenden Werten nicht benötigen, können Sie sie aus den Daten entfernen:
import csv
with open('data.csv', 'r') as file:
reader = csv.reader(file, quoting=csv.QUOTE_NONNUMERIC)
data = [row for row in reader if None not in row]Wenn die fehlenden Werte anhand der umgebenden Daten geschätzt werden können, können Sie Interpolationsverfahren verwenden, um sie aufzufüllen:
import csv
import numpy as np
with open('data.csv', 'r') as file:
reader = csv.reader(file, quoting=csv.QUOTE_NONNUMERIC)
data = [row for row in reader]
## Convert data to a NumPy array
data_array = np.array(data)
## Interpolate missing values
data_array = np.where(data_array == None, np.nan, data_array)
data_array = np.nanpercentile(data_array, axis=0)In diesem Abschnitt haben Sie gelernt, wie Sie fehlende Werte in CSV-Dateien mit Python's csv-Modul identifizieren und behandeln können. Sie haben verschiedene Techniken kennengelernt, wie das Auffüllen fehlender Werte, das Entfernen von Zeilen mit fehlenden Werten und die Interpolation fehlender Werte. Diese Methoden können an Ihre spezifischen Bedürfnisse und die Eigenschaften Ihrer CSV-Daten angepasst werden.
Beschädigte Daten in CSV-Dateien können eine herausfordernde Problematik darstellen. Beschädigte Daten können in verschiedenen Formen auftreten, wie z. B. ungültige Zeichen, falsche Formatierung oder inkonsistente Datentypen. Das csv-Modul in Python bietet mehrere Möglichkeiten, um diese Arten von Problemen zu behandeln.
Einer der ersten Schritte bei der Behebung beschädigter CSV-Daten ist die Erkennung der Probleme. Sie können die csv.Sniffer-Klasse verwenden, um die Struktur der CSV-Datei zu analysieren und potenzielle Probleme zu identifizieren:
import csv
with open('data.csv', 'r') as file:
sniffer = csv.Sniffer()
has_header = sniffer.has_header(file.read(1024))
file.seek(0)
reader = csv.reader(file)
if has_header:
next(reader) ## Skip the header row
for row in reader:
print(row)Dieser Code prüft, ob die CSV-Datei eine Kopfzeile hat, und iteriert dann durch die Datenzeilen, wobei jede Zeile ausgegeben wird.
Wenn Sie in der CSV-Datei beschädigte Zeilen treffen, können Sie einen try-except-Block verwenden, um die Fehler zu behandeln und die beschädigten Zeilen zu überspringen:
import csv
with open('data.csv', 'r') as file:
reader = csv.reader(file)
for row in reader:
try:
## Process the row
print(row)
except csv.Error:
## Skip the corrupted row
continueEin weiteres häufiges Problem bei beschädigten CSV-Daten sind inkonsistente Datentypen. Sie können die csv.DictReader-Klasse verwenden, um die CSV-Datei als Wörterbuch zu lesen, was es Ihnen ermöglicht, die Datentypen einfach zu validieren:
import csv
with open('data.csv', 'r') as file:
reader = csv.DictReader(file)
for row in reader:
try:
int_value = int(row['integer_column'])
float_value = float(row['float_column'])
## Process the validated data
print(int_value, float_value)
except (ValueError, KeyError):
## Skip the row with corrupted data
continueIn diesem Beispiel validieren wir die Felder integer_column und float_column und überspringen alle Zeilen mit beschädigten Daten.
In diesem Abschnitt haben Sie gelernt, wie Sie beschädigte Daten in CSV-Dateien mit Python's csv-Modul beheben können. Sie haben Techniken zur Erkennung beschädigter Daten, zum Umgang mit beschädigten Zeilen und zur Validierung von Datentypen kennengelernt. Diese Methoden können Ihnen helfen, Ihre CSV-Daten zu bereinigen und für weitere Analysen und Verarbeitungen vorzubereiten.
Am Ende dieses Tutorials werden Sie ein umfassendes Verständnis davon haben, wie Sie fehlende oder beschädigte Daten in Python-CSV-Dateien effektiv verwalten können. Sie werden Techniken kennenlernen, um diese Probleme zu identifizieren und zu behandeln, sodass Sie in Ihren Python-Projekten mit sauberen und zuverlässigen Daten arbeiten können.
