ウェブ開発とデータ取得の世界において、Python の requests でカスタムヘッダーを設定する方法を理解することは、非常に重要なスキルです。このチュートリアルでは、Python の requests にカスタムヘッダーを追加するプロセスを詳しく解説し、ウェブスクレイピング、API インタラクションなど、幅広い可能性を切り開きます。
カスタムヘッダーを使用すると、ウェブサーバーや API がリクエストをどのように処理するかを制御できます。リクエストの認証、コンテンツタイプの指定、キャッシュの管理、さらにはブラウザの動作の模倣などを行うことができます。このチュートリアルを終える頃には、特定の要件を満たすために HTTP リクエストをカスタマイズするための実践的な知識を習得しているでしょう。
コードを書き始める前に、HTTP ヘッダーとは何か、そしてなぜ重要なのかを理解しましょう。
HTTP ヘッダーは、クライアントとサーバー間でリクエストとレスポンスで送信されるキーと値のペアです。コンテンツタイプ、認証情報、クライアント情報など、リクエストまたはレスポンスに関する追加情報を提供します。
たとえば、ウェブサイトにアクセスすると、ブラウザは自動的に User-Agent (ブラウザを識別)、Accept (処理できるコンテンツタイプを指定) などのヘッダーを含めます。
Python の Requests ライブラリは、HTTP リクエストの操作を簡単にします。環境にインストールされていることを確認しましょう。
pip install requestsrequests がインストールされているか、すでにインストールされていることを示す出力が表示されるはずです。
Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (2.28.1)
...Requests ライブラリをテストするための簡単な Python スクリプトを作成しましょう。
test_requests.py とします。import requests
## テストウェブサイトへの簡単な GET リクエストを行う
response = requests.get('https://httpbin.org/get')
## レスポンスのステータスコードを出力する
print(f"Status Code: {response.status_code}")
## レスポンスヘッダーを出力する (サーバーが返送したもの)
print("\nResponse Headers:")
for header, value in response.headers.items():
print(f"{header}: {value}")
## レスポンスの内容を出力する
print("\nResponse Content:")
print(response.text[:300] + "...") ## 最初の 300 文字のみ表示python test_requests.py次のような出力が表示されるはずです。
Status Code: 200
Response Headers:
Date: Wed, 12 Apr 2023 10:15:23 GMT
Content-Type: application/json
Content-Length: 267
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
Response Content:
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.28.1",
"X-Amzn-Trace-Id": "Root=1-643..."
},
"origin": "123.45.67.89",
"url": "https://httpbin.org/get"
}
...この出力は以下を示しています。
200 (成功) で応答しました。サーバーが、Python の requests ライブラリからのリクエストであることを識別する自動生成された User-Agent ヘッダーなど、私たちから受け取ったヘッダーを記録していることに注目してください。
次のステップでは、これらのヘッダーをカスタマイズして、リクエストをより詳細に制御する方法を学びます。
HTTP ヘッダーが何であるかを理解し、requests ライブラリをテストしたので、リクエストでカスタムヘッダーを設定する方法を学びましょう。
カスタムヘッダーを設定する理由はいくつかあります。
カスタムヘッダーの設定を練習するために、新しい Python スクリプトを作成しましょう。
custom_headers.py という名前の新しいファイルを作成します。import requests
## リクエストを行う URL を定義します
url = 'https://httpbin.org/headers'
## ディクショナリでカスタムヘッダーを定義します
custom_headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'X-Custom-Header': 'Hello World',
'Accept-Language': 'en-US,en;q=0.9'
}
## カスタムヘッダーを使用してリクエストを行います
response = requests.get(url, headers=custom_headers)
## ステータスコードを出力します
print(f"Status Code: {response.status_code}")
## サーバーが受信したヘッダーを表示するレスポンスの内容を出力します
print("\nHeaders received by server:")
print(response.json())python custom_headers.py次のような出力が表示されるはずです。
Status Code: 200
Headers received by server:
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'en-US,en;q=0.9', 'Host': 'httpbin.org', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'X-Custom-Header': 'Hello World', 'X-Amzn-Trace-Id': 'Root=1-6430a123-abc123def456'}}このスクリプトでは、次のことを行いました。
custom_headers という名前のディクショナリを作成し、3 つのヘッダーを含めました。
User-Agent: デフォルトの Python requests の値から、ウェブブラウザを模倣するように変更しました。X-Custom-Header: 私たちが考案した完全にカスタムなヘッダーです。Accept-Language: コンテンツの優先言語を指定します。headers パラメータを使用して、ヘッダーを requests.get() に渡しました。
httpbin.org/headers からのレスポンスは、実際に受信したヘッダーを正確に示しており、カスタムヘッダーが正常に送信されたことを確認しています。
モバイルデバイスになりすます別の例を作成しましょう。これは、モバイル対応のウェブサイトをテストする際に役立ちます。
mobile_headers.py という名前の新しいファイルを作成します。import requests
url = 'https://httpbin.org/headers'
## iPhone をシミュレートするヘッダー
mobile_headers = {
'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
}
print("Making request with mobile device headers...")
response = requests.get(url, headers=mobile_headers)
## レスポンスの内容を出力します
print(response.json())python mobile_headers.py次のような出力が表示されるはずです。
Making request with mobile device headers...
{'headers': {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1', 'X-Amzn-Trace-Id': 'Root=1-6430a456-abc123def456'}}これは、特定の User-Agent ヘッダーを設定することにより、私たちが iPhone であることをサーバーに正常に伝えていることを示しています。
カスタムヘッダーの最も一般的な用途の 1 つは、Web サービスと API での認証です。多くの API では、リクエストヘッダーに認証情報を含める必要があります。
一般的な認証方法はいくつかあります。
Python requests を使用して、これらの認証方法を実装する方法を見てみましょう。
多くの API は、API キーを使用してアクセスを許可します。これらは通常、ヘッダーまたは URL パラメータに含まれます。
api_key_auth.py という名前の新しいファイルを作成します。import requests
url = 'https://httpbin.org/headers'
## API キー認証をシミュレートする
api_key = 'my_fake_api_key_12345'
## API キーをヘッダーに追加する
headers = {
'X-API-Key': api_key,
'User-Agent': 'My API Client/1.0'
}
## リクエストを行う
response = requests.get(url, headers=headers)
## 結果を出力する
print(f"Status Code: {response.status_code}")
print("\nHeaders received by server:")
print(response.json())python api_key_auth.py次のような出力が表示されるはずです。
Status Code: 200
Headers received by server:
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'My API Client/1.0', 'X-API-Key': 'my_fake_api_key_12345', 'X-Amzn-Trace-Id': 'Root=1-6430a789-abc123def456'}}これにより、X-API-Key ヘッダーに API キーを正常に送信したことが確認できます。
Basic 認証には、base64 形式でエンコードされたユーザー名とパスワードの送信が含まれます。Requests ライブラリを使用すると、これが簡単になります。
basic_auth.py という名前の新しいファイルを作成します。import requests
## Basic 認証を必要とする URL
url = 'https://httpbin.org/basic-auth/user/pass'
## 方法 1: auth パラメータを使用する (推奨)
print("Method 1: Using the auth parameter")
response = requests.get(url, auth=('user', 'pass'))
print(f"Status Code: {response.status_code}")
print(response.json())
## 方法 2: Authorization ヘッダーを手動で設定する
print("\nMethod 2: Setting the Authorization header manually")
import base64
## 基本認証文字列を作成する：base64 でエンコードされた "username:password"
auth_string = base64.b64encode('user:pass'.encode('utf-8')).decode('utf-8')
headers = {
'Authorization': f'Basic {auth_string}'
}
response = requests.get(url, headers=headers)
print(f"Status Code: {response.status_code}")
print(response.json())python basic_auth.py次のような出力が表示されるはずです。
Method 1: Using the auth parameter
Status Code: 200
{'authenticated': True, 'user': 'user'}
Method 2: Setting the Authorization header manually
Status Code: 200
{'authenticated': True, 'user': 'user'}どちらの方法も、サービスで正常に認証されました。
auth パラメータを使用しており、より便利です。ベアラートークン認証は、OAuth 2.0 および JWT ベースのシステムで一般的に使用されます。
bearer_auth.py という名前の新しいファイルを作成します。import requests
url = 'https://httpbin.org/headers'
## ベアラートークンをシミュレートする (実際のアプリでは、これは OAuth プロセスから取得されます)
bearer_token = 'eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIn0.Q6CM1qIQkXA_DqyJq9MI0-mnRRCRR3c0SIM-Nul5MZs'
## Authorization ヘッダーにベアラートークンを追加する
headers = {
'Authorization': f'Bearer {bearer_token}'
}
## リクエストを行う
response = requests.get(url, headers=headers)
## 結果を出力する
print(f"Status Code: {response.status_code}")
print("\nHeaders received by server:")
print(response.json())python bearer_auth.py次のような出力が表示されるはずです。
Status Code: 200
Headers received by server:
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIn0.Q6CM1qIQkXA_DqyJq9MI0-mnRRCRR3c0SIM-Nul5MZs', 'Host': 'httpbin.org', 'X-Amzn-Trace-Id': 'Root=1-6430a901-abc123def456'}}これは、Authorization ヘッダーにベアラートークンを含めてリクエストが成功したことを示しています。
ベアラートークンは通常、OAuth 2.0 サーバーとの認証プロセスが成功した後に取得されますが、この例では、デモンストレーション目的でサンプル トークンを使用しています。
さまざまな種類のカスタムヘッダーを設定する方法を学んだので、実際のシナリオでヘッダーを操作するための実用的なアプリケーションとベストプラクティスを見てみましょう。
最新の API を操作する場合、JSON が最も一般的なデータ形式です。JSON リクエストのヘッダーを適切に設定する方法を見てみましょう。
json_requests.py という名前の新しいファイルを作成します。import requests
import json
url = 'https://httpbin.org/post' ## このエンドポイントは POST リクエストを受け入れます
## 送信するデータ
data = {
'name': 'John Doe',
'email': 'john@example.com',
'message': 'Hello, world!'
}
## JSON に適切なヘッダーを設定する
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json'
}
## 方法 1: json パラメータを使用する (推奨)
print("Method 1: Using the json parameter")
response = requests.post(url, json=data, headers=headers)
print(f"Status Code: {response.status_code}")
print(response.json()['headers']) ## 受信したヘッダーを表示する
print(f"\nData sent (as received by server): {response.json()['json']}")
## 方法 2: 手動で JSON に変換する
print("\nMethod 2: Manually converting to JSON")
json_data = json.dumps(data)
response = requests.post(url, data=json_data, headers=headers)
print(f"Status Code: {response.status_code}")
print(response.json()['headers']) ## 受信したヘッダーを表示する
print(f"\nData sent (as received by server): {response.json()['json']}")python json_requests.py次のような出力が表示されるはずです。
Method 1: Using the json parameter
Status Code: 200
{'Accept': 'application/json', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '72', 'Content-Type': 'application/json', 'Host': 'httpbin.org', 'X-Amzn-Trace-Id': 'Root=1-6430ab12-abc123def456'}
Data sent (as received by server): {'name': 'John Doe', 'email': 'john@example.com', 'message': 'Hello, world!'}
Method 2: Manually converting to JSON
Status Code: 200
{'Accept': 'application/json', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '72', 'Content-Type': 'application/json', 'Host': 'httpbin.org', 'X-Amzn-Trace-Id': 'Root=1-6430ab13-abc123def456'}
Data sent (as received by server): {'name': 'John Doe', 'email': 'john@example.com', 'message': 'Hello, world!'}どちらの方法も機能しますが、方法 1 の方が便利です。Requests ライブラリが JSON 変換を処理してくれるからです。
同じヘッダーで複数のリクエストを行う必要がある場合は、Session オブジェクトを使用すると、時間を節約し、コードをよりクリーンにすることができます。
session_headers.py という名前の新しいファイルを作成します。import requests
## セッションオブジェクトを作成する
session = requests.Session()
## このセッションで行われるすべてのリクエストのデフォルトヘッダーを設定する
session.headers.update({
'User-Agent': 'MyCustomApp/1.0',
'Accept-Language': 'en-US,en;q=0.9',
'X-API-Key': 'my_session_api_key'
})
## セッションを使用してリクエストを行う - デフォルトヘッダーが含まれます
print("First request with session:")
response = session.get('https://httpbin.org/headers')
print(response.json())
## このリクエスト専用のカスタムヘッダーを追加する
print("\nSecond request with additional header:")
response = session.get('https://httpbin.org/headers',
headers={'X-Custom-Header': 'Just for this request'})
print(response.json())
## 元のヘッダーは、今後のリクエストでは変更されません
print("\nThird request (original headers only):")
response = session.get('https://httpbin.org/headers')
print(response.json())python session_headers.py次のような出力が表示されるはずです。
First request with session:
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'en-US,en;q=0.9', 'Host': 'httpbin.org', 'User-Agent': 'MyCustomApp/1.0', 'X-API-Key': 'my_session_api_key', 'X-Amzn-Trace-Id': 'Root=1-6430ab45-abc123def456'}}
Second request with additional header:
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'en-US,en;q=0.9', 'Host': 'httpbin.org', 'User-Agent': 'MyCustomApp/1.0', 'X-API-Key': 'my_session_api_key', 'X-Custom-Header': 'Just for this request', 'X-Amzn-Trace-Id': 'Root=1-6430ab46-abc123def456'}}
Third request (original headers only):
{'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'en-US,en;q=0.9', 'Host': 'httpbin.org', 'User-Agent': 'MyCustomApp/1.0', 'X-API-Key': 'my_session_api_key', 'X-Amzn-Trace-Id': 'Root=1-6430ab47-abc123def456'}}セッションを使用することは、いくつかの理由からベストプラクティスです。
まとめとして、HTTP ヘッダーを操作する際に従うべきベストプラクティスをいくつか紹介します。
これらのベストプラクティスを示す最終的な例を次に示します。
best_practices.py という名前の新しいファイルを作成します。import requests
import os
## 実際のアプリケーションでは、これらを環境変数または安全な設定から取得します
## この例では、シンプルに保っています
API_KEY = os.environ.get('API_KEY', 'default_api_key')
BASE_URL = 'https://httpbin.org'
def create_api_client():
"""デフォルトヘッダーを持つ再利用可能なセッションを作成します。"""
session = requests.Session()
## 共通ヘッダーを設定する
session.headers.update({
'User-Agent': 'MyApp/1.0',
'X-API-Key': API_KEY,
'Accept': 'application/json'
})
return session
def get_data(client, endpoint):
"""指定されたエンドポイントに GET リクエストを行います。"""
url = f"{BASE_URL}/{endpoint}"
response = client.get(url)
return response.json()
def post_data(client, endpoint, data):
"""JSON データを使用して POST リクエストを行います。"""
url = f"{BASE_URL}/{endpoint}"
response = client.post(url, json=data)
return response.json()
## 使用例
def main():
## API クライアントを作成する
client = create_api_client()
## GET リクエストの例
print("Making GET request...")
get_response = get_data(client, 'headers')
print(f"Headers sent: {get_response['headers']}")
## POST リクエストの例
print("\nMaking POST request...")
data = {'name': 'John', 'age': 30}
post_response = post_data(client, 'post', data)
print(f"Data received by server: {post_response['json']}")
if __name__ == '__main__':
main()python best_practices.py次のような出力が表示されるはずです。
Making GET request...
Headers sent: {'Accept': 'application/json', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'MyApp/1.0', 'X-API-Key': 'default_api_key', 'X-Amzn-Trace-Id': 'Root=1-6430ab78-abc123def456'}
Making POST request...
Data received by server: {'name': 'John', 'age': 30}この例は、再利用可能なセッションの作成、コードを関数への整理、ハードコードされた機密情報の回避など、ベストプラクティスに従い、カスタムヘッダーを使用して HTTP リクエストを行うための構造化されたアプローチを示しています。
このチュートリアルでは、Python requests でカスタムヘッダーを操作する方法を学びました。これは、効果的な Web 通信と API 統合に不可欠なスキルです。
これで、次のことが理解できるようになりました。
これらのスキルにより、あらゆる Web API とより効果的に対話し、保護されたリソースにアクセスし、リクエストの処理方法を制御し、より洗練された Web アプリケーションを構築できるようになります。
Python のスキルを開発し続ける中で、ヘッダー、ステータスコード、コンテンツタイプなどの HTTP の基本を理解することが、Web アプリケーションの問題をトラブルシューティングし、より高度な機能を実装するのに役立つことを忘れないでください。
