Beschleunigen von Pandas-Operationen

Einführung

In diesem Lab führen wir Sie durch verschiedene Techniken, um die Operationen auf einem pandas DataFrame mit Cython, Numba und pandas.eval() zu beschleunigen. Diese Techniken können erhebliche Geschwindigkeitsverbesserungen bei der Arbeit mit großen Datensätzen bieten.

Tipps für die VM

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Operationen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.

Einrichtung und Erstellung von Beispiel-Daten

Bevor wir beginnen, importieren wir die erforderlichen Module und erstellen ein Beispiel-DataFrame.

## Import necessary modules
import pandas as pd
import numpy as np

## Create a sample DataFrame
df = pd.DataFrame(
    {
        "a": np.random.randn(1000),
        "b": np.random.randn(1000),
        "N": np.random.randint(100, 1000, (1000)),
        "x": "x",
    }
)
df

Implementierung einer reinen Python-Funktion

Wir beginnen mit der Erstellung einer Funktion in reiner Python, die zeilenweise auf dem DataFrame operiert.

## Define a function
def f(x):
    return x * (x - 1)

## Define another function that uses the first function
def integrate_f(a, b, N):
       s = 0
       dx = (b - a) / N
       for i in range(N):
           s += f(a + i * dx)
       return s * dx

Zusammenfassung

Herzlichen Glückwunsch! Sie haben das Lab "Beschleunigen von Pandas-Operationen" abgeschlossen. Sie können in LabEx weitere Labs üben, um Ihre Fähigkeiten zu verbessern.