用 Python 写稳定的 LLM API 层
从 Notebook 到线上服务,缺的不是模型调用,而是类型边界、超时重试、流式输出与可观测性。
把大模型接进正经的 Python 服务:稳定的 API 层、RAG、MCP 工具调用、评测与安全边界。
共 3 篇文章从 Notebook 到线上服务,缺的不是模型调用,而是类型边界、超时重试、流式输出与可观测性。
向量库不是终点。文档切分、混合检索、引用追踪和工具权限,才决定 AI 助手到底可不可信。
模型是不可信输入的处理者,也是新的攻击面。把权限、数据与预算都关进笼子里再上线。