AI 与 Python

RAG 与 MCP:把私有知识接给 AI Agent

向量库不是终点。文档切分、混合检索、引用追踪和工具权限,才决定 AI 助手到底可不可信。

约 3 分钟1091 字

让大模型回答公司内部问题,通常有两条路:把知识放进检索系统(RAG),或把工具暴露给模型按需调用(MCP 等协议)。两者解决的问题不同,实践中往往需要一起用。

RAG 的四个关键决定

  1. 切分策略。按语义段落而不是固定字数切,保留标题与来源信息,避免把表格拦腰截断。
  2. 混合检索。向量检索擅长语义相似,BM25 擅长关键词精确匹配。把两者结果融合,再用重排模型排序。
  3. 引用追踪。每个片段带着文档 ID 和段落位置进入提示,回答时给出处,用户才能核对。
  4. 时效与权限。检索必须遵守原文档的访问权限,过期内容要有下线机制。

最小可用的检索流程

async def retrieve(query: str, user: User) -> list[Passage]:
    candidates = await hybrid_search(
        query,
        vector_top_k=20,
        keyword_top_k=20,
        allowed_docs=user.visible_doc_ids,
    )
    return await rerank(query, candidates, top_k=5)

注意 allowed_docs:权限过滤要发生在检索阶段,而不是生成答案之后再删。模型无法可靠地「忘记」已经看过的敏感内容。

MCP 把工具变成可发现的能力

Model Context Protocol 为 AI 应用与内部工具之间提供标准化接口:模型可以发现有哪些工具、参数是什么,然后在受控范围内调用。Python 写 MCP Server 时,重点不在协议本身,而在权限边界。

@mcp.tool()
async def query_order(order_id: str, ctx: Context) -> dict:
    if not ctx.user.can("order:read"):
        raise PermissionError("no access")
    return await order_repo.get(order_id)
  • 只读工具和写工具分开授权,写操作要求显式确认。
  • 所有工具调用写审计日志,包含调用者、参数摘要和结果状态。
  • 限制参数范围与返回数据量,避免一次查询拖垮数据库。

评测比调参重要

准备一组真实问题与标准答案,持续测量命中率、引用正确率和拒答率。RAG 系统上线后每一次文档结构变化,都应该跑一遍回归评测。