AI 与 Python
用 Python 写稳定的 LLM API 层
从 Notebook 到线上服务,缺的不是模型调用,而是类型边界、超时重试、流式输出与可观测性。
大模型应用最容易做出来的是 Demo:一段脚本、一个 API Key、一次请求。最难的是让它持续稳定地跑:模型超时、供应商限流、输出格式漂移、成本失控,任何一个都足以让产品下线。
把边界做成类型
from pydantic import BaseModel, Field
class AskRequest(BaseModel):
question: str = Field(min_length=1, max_length=2000)
history: list[dict[str, str]] = Field(default_factory=list, max_length=20)
class AskResponse(BaseModel):
answer: str
model: str
latency_ms: int
请求和响应都定义成 Pydantic 模型,FastAPI 会自动生成校验与 OpenAPI 文档。模型返回的自由文本不要直接暴露给下游系统;需要结构化结果时,用严格 JSON 模式再做一次解析校验。
流式输出要处理断开
async def event_stream(payload: AskRequest):
try:
async for chunk in model.stream(payload.question):
yield f"data: {json.dumps({'text': chunk.delta})}\n\n"
except asyncio.CancelledError:
await cleanup()
raise
yield "data: [DONE]\n\n"
客户端随时会断开。生成器里要能感知取消,释放上游连接和计数;否则一片断开的页面就能耗尽你的模型配额。
重试、超时与降级是一套东西
- 超时:连接超时与首 token 超时分开设,首 token 慢说明上游排队,要能快速失败。
- 重试:只对 429/5xx 和连接错误重试,带指数退避与抖动,绝不对内容校验失败重试。
- 降级:主供应商不可用时切备用模型或返回缓存答案,同时明确告诉用户当前是降级结果。
- 幂等:写操作带幂等键,避免重试导致重复扣费或重复落库。
可观测性从第一天就做
记录每次调用的供应商、模型、token 用量、延迟、错误类型与会话 ID,接入 OpenTelemetry 做链路追踪,用 Langfuse 之类的工具看评测与成本。没有这些日志,线上「回答变慢了」就只能靠猜。
把模型当成不可靠的远程依赖,而不是一段神奇的智能代码,架构自然就稳了。
