Python 核心
线程、协程还是多进程:并发方案怎么选
同样是「变快」,I/O 密集和 CPU 密集走的是两条完全不同的路。用一张决策表把选择讲清楚。
「用 asyncio 就一定更快」是常见误解。协程解决的是等待时的上下文切换成本,它不会把一个 CPU 密集的循环变快。选错模型,代码更复杂,性能反而下降。
一张决策表
- 等待外部 I/O(HTTP、数据库、文件):协程或线程池。连接数上千时优先考虑协程。
- CPU 密集(图像处理、加密、数值计算):多进程,或把计算交给原生扩展 / 独立服务。
- 既要高并发又要兼容同步库:线程池 + 少量协程,别在协程里直接跑阻塞调用。
- 需要真正的并行且避免 GIL:多进程一直是稳妥答案;自由线程构建在 3.14 后可用,但要逐库验证。
协程里最危险的一行
# 反例:阻塞调用把整个事件循环卡住
async def handler(request):
resp = requests.get("https://api.example.com/data") # 阻塞
return resp.json()
# 正例:使用异步客户端
async def handler(request):
async with httpx.AsyncClient(timeout=5) as client:
resp = await client.get("https://api.example.com/data")
return resp.json()
如果第三方库只有同步版本,用 asyncio.to_thread 把它挪到线程池,不要假装它是异步的。
并发一定要有边界
sem = asyncio.Semaphore(20)
async def fetch(client, url: str) -> str:
async with sem:
r = await client.get(url, timeout=5)
r.raise_for_status()
return r.text
没有信号量的「全并发」会把下游服务打挂,也会把本机文件描述符耗尽。超时、重试次数、并发上限,三个值必须显式写出来。
怎么验证选对了
用真实流量模型压测,而不是 hello world。观察 p95 延迟、CPU 使用率和错误率:协程方案通常 CPU 更低但单请求延迟未必更低;多进程吞吐更高但内存占用更大。能测出来,才谈得上优化。
