AI 与 Python
RAG 与 MCP:把私有知识接给 AI Agent
向量库不是终点。文档切分、混合检索、引用追踪和工具权限,才决定 AI 助手到底可不可信。
让大模型回答公司内部问题,通常有两条路:把知识放进检索系统(RAG),或把工具暴露给模型按需调用(MCP 等协议)。两者解决的问题不同,实践中往往需要一起用。
RAG 的四个关键决定
- 切分策略。按语义段落而不是固定字数切,保留标题与来源信息,避免把表格拦腰截断。
- 混合检索。向量检索擅长语义相似,BM25 擅长关键词精确匹配。把两者结果融合,再用重排模型排序。
- 引用追踪。每个片段带着文档 ID 和段落位置进入提示,回答时给出处,用户才能核对。
- 时效与权限。检索必须遵守原文档的访问权限,过期内容要有下线机制。
最小可用的检索流程
async def retrieve(query: str, user: User) -> list[Passage]:
candidates = await hybrid_search(
query,
vector_top_k=20,
keyword_top_k=20,
allowed_docs=user.visible_doc_ids,
)
return await rerank(query, candidates, top_k=5)
注意 allowed_docs:权限过滤要发生在检索阶段,而不是生成答案之后再删。模型无法可靠地「忘记」已经看过的敏感内容。
MCP 把工具变成可发现的能力
Model Context Protocol 为 AI 应用与内部工具之间提供标准化接口:模型可以发现有哪些工具、参数是什么,然后在受控范围内调用。Python 写 MCP Server 时,重点不在协议本身,而在权限边界。
@mcp.tool()
async def query_order(order_id: str, ctx: Context) -> dict:
if not ctx.user.can("order:read"):
raise PermissionError("no access")
return await order_repo.get(order_id)
- 只读工具和写工具分开授权,写操作要求显式确认。
- 所有工具调用写审计日志,包含调用者、参数摘要和结果状态。
- 限制参数范围与返回数据量,避免一次查询拖垮数据库。
评测比调参重要
准备一组真实问题与标准答案,持续测量命中率、引用正确率和拒答率。RAG 系统上线后每一次文档结构变化,都应该跑一遍回归评测。
