AI 与 Python

用 Python 写稳定的 LLM API 层

从 Notebook 到线上服务,缺的不是模型调用,而是类型边界、超时重试、流式输出与可观测性。

约 3 分钟1167 字

大模型应用最容易做出来的是 Demo:一段脚本、一个 API Key、一次请求。最难的是让它持续稳定地跑:模型超时、供应商限流、输出格式漂移、成本失控,任何一个都足以让产品下线。

把边界做成类型

from pydantic import BaseModel, Field

class AskRequest(BaseModel):
    question: str = Field(min_length=1, max_length=2000)
    history: list[dict[str, str]] = Field(default_factory=list, max_length=20)

class AskResponse(BaseModel):
    answer: str
    model: str
    latency_ms: int

请求和响应都定义成 Pydantic 模型,FastAPI 会自动生成校验与 OpenAPI 文档。模型返回的自由文本不要直接暴露给下游系统;需要结构化结果时,用严格 JSON 模式再做一次解析校验。

流式输出要处理断开

async def event_stream(payload: AskRequest):
    try:
        async for chunk in model.stream(payload.question):
            yield f"data: {json.dumps({'text': chunk.delta})}\n\n"
    except asyncio.CancelledError:
        await cleanup()
        raise
    yield "data: [DONE]\n\n"

客户端随时会断开。生成器里要能感知取消,释放上游连接和计数;否则一片断开的页面就能耗尽你的模型配额。

重试、超时与降级是一套东西

  • 超时:连接超时与首 token 超时分开设,首 token 慢说明上游排队,要能快速失败。
  • 重试:只对 429/5xx 和连接错误重试,带指数退避与抖动,绝不对内容校验失败重试。
  • 降级:主供应商不可用时切备用模型或返回缓存答案,同时明确告诉用户当前是降级结果。
  • 幂等:写操作带幂等键,避免重试导致重复扣费或重复落库。

可观测性从第一天就做

记录每次调用的供应商、模型、token 用量、延迟、错误类型与会话 ID,接入 OpenTelemetry 做链路追踪,用 Langfuse 之类的工具看评测与成本。没有这些日志,线上「回答变慢了」就只能靠猜。

把模型当成不可靠的远程依赖,而不是一段神奇的智能代码,架构自然就稳了。