Dateien aus dem Internet herunterladen

Einführung

In diesem Lab erfahren Sie, wie Sie Dateien aus dem Internet mit zwei gängigen Befehlszeilentools herunterladen können: curl und wget. Diese Tools sind unerlässlich, um Dateien und Daten von Webservern abzurufen, was sie zu wertvollen Fähigkeiten für jeden Linux-Benutzer oder Entwickler macht.

curl ist ein vielseitiges Tool, das Dateien über verschiedene Protokolle herunterladen und HTTP-Anfragen durchführen kann. wget ist ein einfacheres Tool, das hauptsächlich zum Herunterladen von Dateien von Webservern verwendet wird. Am Ende dieses Labs werden Sie beide Tools sicher einsetzen können, um Dateien herunterzuladen und grundlegende HTTP-Anfragen zu stellen.

Herunterladen einer Datei mit curl

Beginnen wir damit, curl zu verwenden, um eine einfache HTML-Datei von einer Website herunterzuladen.

1. Öffnen Sie Ihr Terminal.

2. Navigieren Sie in das Projektverzeichnis. Geben Sie im Terminal ein:

cd /home/labex/project

Dieser Befehl wechselt Ihr aktuelles Verzeichnis zu /home/labex/project. Der cd-Befehl steht für "change directory" (Verzeichnis wechseln).

3. Jetzt verwenden wir curl, um eine Webseite herunterzuladen. Geben Sie den folgenden Befehl ein:

curl http://example.com -o example.html

Lassen Sie uns diesen Befehl zerlegen:

• curl ist der Name des Programms, das wir verwenden.
• http://example.com ist die URL der Webseite, die wir herunterladen.
• -o example.html teilt curl mit, den heruntergeladenen Inhalt in einer Datei namens example.html zu speichern. Die Option -o steht für "output" (Ausgabe).

4. Nach dem Ausführen des Befehls wird curl den Inhalt herunterladen und ihn als example.html in Ihrem aktuellen Verzeichnis speichern. Um zu überprüfen, ob die Datei heruntergeladen wurde, können wir die Inhalte des Verzeichnisses auflisten:

ls -l example.html

Der ls-Befehl listet Dateien und Verzeichnisse auf. Die Option -l gibt uns eine detaillierte (lange) Auflistung. Sie sollten example.html in der Ausgabe sehen, zusammen mit Informationen über seine Größe und das Datum der letzten Änderung.

Untersuchen der heruntergeladenen Datei

Nachdem wir die Datei heruntergeladen haben, schauen wir uns ihren Inhalt an.

1. Um den Inhalt der Datei anzuzeigen, verwenden wir den cat-Befehl. Geben Sie ein:

cat example.html

cat steht für "concatenate" (zusammenfügen), wird aber üblicherweise verwendet, um den Inhalt von Dateien anzuzeigen. Sie sollten den HTML-Inhalt der Startseite von example.com sehen. Dies kann wie ein Wirrwarr von Text aussehen, wenn Sie mit HTML nicht vertraut sind, aber keine Sorge - es ist der Rohcode, den Webbrowser verwenden, um Webseiten anzuzeigen.

2. Manchmal können Dateien sehr groß sein, und wir möchten möglicherweise nur den Anfang sehen. Hierfür können wir den head-Befehl verwenden:

head -n 10 example.html

Dieser Befehl zeigt Ihnen die ersten 10 Zeilen der Datei. Die Option -n 10 teilt head mit, 10 Zeilen anzuzeigen. Sie können diese Zahl ändern, um mehr oder weniger Zeilen anzuzeigen.

3. Um das Ende der Datei zu sehen, können Sie den tail-Befehl verwenden:

tail -n 10 example.html

Dies zeigt die letzten 10 Zeilen der Datei.

Diese Befehle sind nützlich, um Dateien schnell zu untersuchen, ohne sie vollständig zu öffnen, insbesondere wenn es sich um große Dateien handelt.

Herunterladen mehrerer Dateien mit curl

curl kann mehrere Dateien mit einem einzigen Befehl herunterladen. Versuchen wir, zwei Dateien gleichzeitig herunterzuladen.

1. Zunächst versuchen wir, sowohl die Index- als auch die Über-Seite von example.com herunterzuladen und ihren Inhalt anzuzeigen:

curl http://example.com/index.html http://example.com/about.html

Dieser Befehl gibt den Inhalt beider Seiten in Ihrem Terminal aus. Sie werden zwei HTML-Dokumente nacheinander sehen. Dies kann für schnelle Überprüfungen nützlich sein, ist aber nicht ideal, wenn Sie die Dateien speichern möchten.

2. Um diese Dateien zu speichern, anstatt sie anzuzeigen, verwenden wir die Option -O. Das Großbuchstaben -O teilt curl mit, den Dateinamen aus der URL zu verwenden:

curl -O http://example.com/index.html -O http://example.com/about.html

Dieser Befehl lädt beide Dateien herunter und speichert sie mit ihren ursprünglichen Namen (index.html und about.html) in Ihrem aktuellen Verzeichnis. Sie werden diesmal nicht den Inhalt in Ihrem Terminal sehen.

3. Um zu überprüfen, ob die Dateien heruntergeladen wurden, können wir die Inhalte des Verzeichnisses auflisten:

ls -l index.html about.html

Sie sollten beide Dateien aufgeführt sehen, zusammen mit ihren Größen und den Zeitpunkten der letzten Änderung.

4. Wenn Sie mehrere Dateien herunterladen möchten, aber ihnen benutzerdefinierte Namen geben möchten, können Sie mehrere -o-Optionen verwenden:

curl -o custom_index.html http://example.com/index.html -o custom_about.html http://example.com/about.html

Dadurch werden die Dateien als custom_index.html und custom_about.html gespeichert.

Verwendung von wget zum Herunterladen von Dateien

Jetzt befassen wir uns mit wget, einem anderen beliebten Tool zum Herunterladen von Dateien. wget wird oft wegen seiner Einfachheit und seiner Fähigkeit, große Downloads oder instabile Verbindungen zu bewältigen, bevorzugt.

1. Beginnen wir damit, wget zu verwenden, um eine Datei von example.com herunterzuladen:

wget http://example.com/index.html

wget zeigt einen Fortschrittsbalken an, während es die Datei herunterlädt. Dies ist besonders nützlich für größere Dateien, da Sie sehen können, wie viel der Datei bereits heruntergeladen wurde und wie lange es möglicherweise dauert, den Download abzuschließen.

2. Standardmäßig speichert wget die Datei mit ihrem ursprünglichen Namen. Um einen anderen Namen anzugeben, verwenden Sie die Option -O (beachten Sie, dass es sich um einen Großbuchstaben O handelt, im Gegensatz zu curl, das einen Kleinbuchstaben o verwendet):

wget -O custom_name.html http://example.com/index.html

Dadurch wird die Datei als custom_name.html gespeichert. Der Fortschrittsbalken wird weiterhin angezeigt, aber die Datei wird mit dem von Ihnen angegebenen Namen gespeichert.

Herunterladen von Dateien in ein bestimmtes Verzeichnis

Oft möchten Sie Dateien in ein bestimmtes Verzeichnis statt in Ihr aktuelles Arbeitsverzeichnis herunterladen. Sowohl curl als auch wget ermöglichen Ihnen dies, aber sie verwenden unterschiedliche Methoden.

1. Zunächst erstellen wir ein neues Verzeichnis, in das wir unsere Dateien herunterladen können:

mkdir downloads

Dies erstellt ein neues Verzeichnis namens downloads an Ihrem aktuellen Ort.

2. Jetzt verwenden wir curl, um eine Datei in dieses Verzeichnis herunterzuladen:

curl -o downloads/curl_file.html http://example.com

Die -o-Option in curl ermöglicht es uns, die Ausgabedatei einschließlich ihres Pfads anzugeben. Dieser Befehl lädt den Inhalt von example.com herunter und speichert ihn als curl_file.html im downloads-Verzeichnis.

3. Als Nächstes verwenden wir wget, um eine Datei in dasselbe Verzeichnis herunterzuladen:

wget -P downloads http://example.com/index.html

Die -P-Option in wget steht für "prefix" (Präfix) und ermöglicht es uns, das Verzeichnis anzugeben, in dem wir die Datei speichern möchten. Dieser Befehl lädt index.html von example.com herunter und speichert es im downloads-Verzeichnis.

4. Wir können überprüfen, ob beide Dateien in das downloads-Verzeichnis heruntergeladen wurden:

ls -l downloads

Sie sollten sowohl curl_file.html als auch index.html in der Ausgabe sehen.

5. Um den Inhalt dieser Dateien zu sehen, ohne unser aktuelles Verzeichnis zu ändern, können wir cat mit dem vollständigen Pfad verwenden:

cat downloads/curl_file.html
cat downloads/index.html

Dies ermöglicht es uns, den Inhalt der heruntergeladenen Dateien zu überprüfen.

Zusammenfassung

Herzlichen Glückwunsch! Sie haben das Lab zum Herunterladen von Dateien aus dem Internet mit curl und wget erfolgreich abgeschlossen. Lassen Sie uns zusammenfassen, was Sie gelernt haben:

1. Sie haben curl verwendet, um einzelne Dateien herunterzuladen und sie mit benutzerdefinierten Namen zu speichern.
2. Sie haben untersucht, wie Sie mehrere Dateien mit einem einzigen curl-Befehl herunterladen können.
3. Sie haben gelernt, wie Sie wget verwenden, um Dateien sowohl mit Standard- als auch mit benutzerdefinierten Namen herunterzuladen.
4. Sie haben das rekursive Herunterladen von Dateien mit wget geübt.
5. Sie haben gelernt, wie Sie Dateien in ein bestimmtes Verzeichnis mit sowohl curl als auch wget herunterladen können.

Diese Fähigkeiten sind für viele Aufgaben in Linux grundlegend, vom Abrufen von Webinhalten bis zum Herunterladen von Softwarepaketen. Wenn Sie Ihre Linux-Reise fortsetzen, werden Sie diese Tools für verschiedene Skripting- und Automatisierungsaufgaben unschätzbar finden.

Denken Sie daran, dass sowohl curl als auch wget viele weitere Optionen und Funktionen haben, die Sie erkunden können. Sehen Sie sich gerne ihre Handbuchseiten (man curl und man wget) an, um mehr über ihre erweiterten Funktionen zu erfahren.

Üben und erkunden Sie diese Tools weiterhin, um sich in der Arbeit mit Dateien und Webinhalten in Linux besser auszukennen!