并发技术
Python中的并发概述
并发是一种强大的方法，用于同时管理多个任务，使开发人员能够创建更高效、响应更快的应用程序。Python提供了几种实现并发操作的技术。
主要并发方法
1. 线程（Threading）
graph LR
A[主线程] --> B[线程1]
A --> C[线程2]
A --> D[线程3]
线程实现
import threading
import queue
def worker(task_queue):
while not task_queue.empty():
task = task_queue.get()
print(f"正在处理任务: {task}")
task_queue.task_done()
## 创建一个任务队列
task_queue = queue.Queue()
for i in range(10):
task_queue.put(f"任务-{i}")
## 创建多个线程
threads = []
for _ in range(3):
thread = threading.Thread(target=worker, args=(task_queue,))
thread.start()
threads.append(thread)
## 等待所有任务完成
task_queue.join()
2. 多进程（Multiprocessing）
graph LR
A[主进程] --> B[进程1]
A --> C[进程2]
A --> D[进程3]
多进程实现
from multiprocessing import Process, Queue
def worker(task_queue):
while not task_queue.empty():
task = task_queue.get()
print(f"在进程中处理任务: {task}")
## 创建一个多进程队列
task_queue = Queue()
for i in range(10):
task_queue.put(f"任务-{i}")
## 创建多个进程
processes = []
for _ in range(3):
process = Process(target=worker, args=(task_queue,))
process.start()
processes.append(process)
## 等待所有进程完成
for process in processes:
process.join()
并发技术比较
| 技术 |
最适合的任务 |
优点 |
缺点 |
| 线程（Threading） |
I/O密集型任务 |
轻量级，共享内存 |
全局解释器锁（GIL） |
| 多进程（Multiprocessing） |
CPU密集型任务 |
真正的并行性 |
更高的内存开销 |
| 异步编程（Async Programming） |
网络操作 |
非阻塞 |
复杂的错误处理 |
3. 异步编程
import asyncio
async def task_executor(name, duration):
print(f"任务 {name} 已启动")
await asyncio.sleep(duration)
print(f"任务 {name} 已完成")
async def main():
tasks = [
asyncio.create_task(task_executor("任务1", 2)),
asyncio.create_task(task_executor("任务2", 1)),
asyncio.create_task(task_executor("任务3", 3))
]
await asyncio.gather(*tasks)
## 运行异步主函数
asyncio.run(main())
选择正确的技术
在选择并发方法时，请考虑：
- 任务的性质（I/O密集型与CPU密集型）
- 性能要求
- 实现的复杂性
LabEx建议尝试不同的技术，以找到最适合您特定用例的方法。
