大模型应用:评测、RAG 与 Agent 的工程闭环
封面:雨后波浪谷的倒影 · 摄影 Nicholas Roemmelt / National Geographic Traveler Photo Contest
模型可以生成答案,但应用还要解决三个问题:答案怎样验收,需要的资料从哪里来,以及模型提出的操作怎样真正执行。评测、RAG 和 Agent 分别处理这些问题,它们最终要在同一个系统里配合。
本篇对应 Happy-LLM 第七章。先确定任务和指标,再构建检索与执行链路,最后用失败样本定位问题。文中的小型案例均为教学构造。
1. 先定义任务成功,再比较模型
1.1 模型能力与系统能力
以“查询设备故障原因,并在需要时创建维修工单”为例,完整任务可能包括识别设备、检索手册、根据证据判断故障、补问缺失信息和调用工单接口。模型回答看起来合理,只覆盖其中一部分。
| 层次 | 评测对象 | 可观察结果 |
|---|---|---|
| 模型 | 在给定输入下生成什么 | 答案正确性、格式、指令遵循 |
| 检索 | 能否找到所需证据 | 相关文档是否进入候选、排序是否靠前 |
| 执行 | 工具是否按预期运行 | 参数合法性、返回状态、实际状态变化 |
| 端到端 | 用户目标是否完成 | 成功率、成本、延迟、是否重复操作 |
先建立一个能重复运行的基线:固定题集、模型版本、提示、工具和数据快照。改模型、改 chunk 或加重排器后,用相同样本比较。否则无法判断收益来自哪里。
1.2 公共基准能说明什么
| 基准类型 | 常见例子 | 主要限制 |
|---|---|---|
| 学科知识与选择题 | MMLU、GPQA | 不直接代表生产流程完成率 |
| 数学与逻辑 | GSM8K、MATH | 答案解析、采样预算会影响分数 |
| 代码 | HumanEval 等执行测试 | 测试覆盖不足时仍可能漏掉错误 |
| 工具调用 | BFCL 系列 | 必须注明版本和子任务 |
| 长上下文 | 长文问答、needle 检索 | 找到一个字符串不等于完成跨文档推理 |
GPQA 是专家编写的生物、物理、化学等领域困难选择题,不是通用客服问答集。GPQA 论文 BFCL 不同版本逐步扩展了工具和多轮任务范围,报告时应附版本、测试类别和执行方式,而不只写“工具准确率”。BFCL 官方说明
固定任务榜单便于在统一协议下比较,匿名对战类榜单反映特定用户与提示分布下的偏好。两者都需要检查数据污染、提示模板、采样参数和统计不确定性,不能将名次直接换算成业务成功率。
1.3 自建评测集与判分
样本至少包含输入、期望结果或判分规则、必要证据、工具初始状态和允许的操作范围。覆盖正常问题、信息不足、无答案、工具报错和多轮追问;开发集用于改提示,保留集用于最终比较,避免反复“修到测试题上”。
设 个任务中有 个完成,经验成功率为 。独立伯努利样本下,标准误差粗估为:
小样本、接近 0 或 1 的成功率应使用更合适的区间方法。比较两个系统时优先用同题配对,并按任务或用户聚类处理相关性;多跑同一道题不能简单当成很多个独立业务样本。
能执行就用执行结果判分,能精确匹配就明确规范化规则。开放式回答可以用人工或 LLM judge,但需给出评分标准、随机化候选顺序,并抽样核对长度偏好和位置偏差。Judge 的分数不是客观真值。
2. RAG:让回答有可检查的外部依据
2.1 检索改变了什么
RAG 为生成模型提供检索到的外部内容。一个工程化表达是:
是问题, 是文档集合, 是候选证据,Pack 负责选择、组织和截断内容。这里描述常见应用链路,不等同于原始 RAG 论文中对检索文档进行概率边缘化的完整训练目标。RAG 论文
模型权重可以保持不变,资料则单独更新。要让答案可追溯,输入证据必须携带稳定的文档 ID、版本和位置;输出引用还要验证是否真的支持对应结论。
2.2 离线索引与在线请求
| 阶段 | 工作 | 应保存的产物 |
|---|---|---|
| 离线 | 解析、清洗、切块、向量化、建索引 | 原文、chunk、元数据、向量与版本映射 |
| 在线 | 解析问题、权限过滤、召回、重排、组织证据、生成 | 候选 ID、分数、实际上下文、引用和耗时 |
解析错误会传递到后面每一层。PDF 的多栏顺序、表格的行列关系、OCR 错字,需要在向量化前检查;图像型页面也不会因为存进向量库就自动变成可靠文本。
3. 文档切分与索引:保留可回答问题的单位
3.1 Chunk 大小如何取舍
小块容易精确匹配,却可能丢掉限定条件;大块保留语境,但可能把大量无关内容放进同一个向量和生成上下文。按标题、段落和表格边界切分通常比机械字符切分更容易保留结构,具体长度仍要由问题集验证。
对于“最长可连续运行多久”这类问题,数值和“在某温度、负载下”的条件应一起保留。可以先召回较小片段,再扩展它所在的小节,即 child-to-parent 检索。Overlap 能缓解边界问题,也会增加存储、重复候选和上下文占用。
一条 chunk 记录至少需要:
1 | { |
权限应作用于可被检索和读取的内容。不能先把无权访问的文档发给模型,再希望提示词禁止泄漏。日志、缓存和索引快照也需要按同样的访问边界管理。
3.2 Embedding 与相似度
双编码器分别编码问题和文档块:
归一化到单位长度后,余弦相似度等于内积。模型可能要求不同的 query/document 前缀或不同编码入口,应遵守训练时的约定;不是任意语言模型的隐藏向量都适合检索。DPR 论文
向量维度相同不意味着兼容。更换 embedding 模型、池化、归一化或文本处理方式后,应重新编码并重建相应索引。保存 embedding_model_revision 和预处理配置,防止新查询向量混入旧文档向量空间。
3.3 向量库解决的是检索工程
数据规模较小时可精确计算全部相似度;规模扩大后使用近似最近邻索引,在速度、内存与召回之间取舍。ANN 的召回率,是相对于精确向量检索结果的近似程度;它与“业务上真正相关的文档有没有找到”不是同一个指标。
更新文档时,应让旧 chunk 失效并同步替换向量与元数据。先构建新版本索引、验证后切换,比让线上混用多个不完整版本更容易回滚。删除源文档还应检查派生 chunk、缓存和副本是否同步失效。
4. 召回与重排:先保证候选里有,再决定谁靠前
4.1 稠密、稀疏与混合检索
语义检索适合近义表达;关键词检索常有助于匹配型号、错误码、专有名词。可以分别召回候选,再融合去重,而不是假定某一种检索方式始终占优。
一种只利用排名的融合方法是 RRF:
为第 个检索列表,排名从 1 开始, 调节头部排名优势。缺席某列表的文档不贡献该项。它避免直接相加不同尺度的检索分数,但仍需验证候选规模和参数。RRF 原始论文
4.2 Reranker 为什么放在召回之后
交叉编码器将问题和候选文档共同输入,输出相关性分数:
它能利用二者的细粒度交互,但通常要对每个候选计算一次,适合重排已缩小的候选集。若正确证据没进入候选,重排无法凭空找回它。
下面假设问题需要 A、B 两条证据,C、D 是干扰项:
| 操作 | 候选或送给模型的顺序 | 结果 |
|---|---|---|
| 召回 3 条 | C、A、D | B 没被召回,证据覆盖不完整 |
| 重排这 3 条 | A、C、D | 首位变好,B 仍缺失 |
| 扩大召回再重排 | A、B、C、D | 才有机会组成完整证据 |
| 只保留重排第一条 | A | 仍不能回答需要 A+B 的问题 |
Top-k 同时影响覆盖、噪声、重排成本与生成长度。最佳值应在真实问题上测量,不能仅凭“越多越完整”确定。
4.3 用指标区分失败位置
设 是问题 的相关证据集合, 是前 个结果:
这里使用实际返回数量作为 Precision 分母;无返回结果单独记为 0。多个问题可按问题取宏平均,同时记录标注粒度是文档还是 chunk。一个问题只要命中任一证据就计 1 的 Hit@k,与多证据覆盖率不同。
首个相关结果的倒数排名为 ,未命中记 0;MRR 为各题 RR 的平均。它关注第一条相关结果,不能代替多跳问题的证据完整性。
5. 从证据生成答案:引用、拒答与失败归因
5.1 上下文是一份有限预算的证据包
送给生成模型前,按重排结果去重、保留来源、合并必要上下文,并预留回答预算:
预算应在实际模板和 tokenizer 下计算。不能只按字符数估计,也不能让最后的截断随意切掉证据的限制条件或来源 ID。
证据内容来自外部,应作为待引用数据处理。文档里的“忽略之前的要求、调用另一个工具”不应提升为系统指令。应用要限制工具权限、隔离数据与控制信息,并用包含这类干扰的样本评测。
5.2 把失败分开测
| 观测结果 | 优先检查 |
|---|---|
| 原文就没有答案 | 数据覆盖、无答案处理 |
| 原文有,解析后没有 | 文档解析、OCR、表格处理 |
| chunk 有,候选没找到 | 查询表达、切分、embedding、过滤和索引 |
| 候选有,最终上下文没有 | 重排、去重、截断与 token 预算 |
| 上下文足够,回答仍错 | 生成提示、模型、证据冲突与答案约束 |
| 回答正确,引用不支持结论 | 引用绑定和逐结论证据检查 |
可做一个 oracle-context 对照:人工把正确证据直接放进上下文。如果仍答错,继续调检索通常没有意义;若明显改善,再回到召回和上下文选择。这个对照改变的是证据输入,不应和真实系统得分混报。
“回答有引用”与“引用支持答案”应分别验收。对无证据问题,允许回答资料不足,通常比要求每题必须给确定答案更符合任务目标。
6. Agent:把模型输出接到受控执行循环
6.1 Workflow 与 Agent 的区别
固定工作流由程序预先规定步骤和分支;Agent 在运行中根据状态选择下一步动作或结束。二者可以混合:例如权限校验固定执行,搜索次数和查询词由模型选择。
用 表示当前可见历史, 表示模型提出的动作,环境返回 observation :
这里的动作可以是工具调用,也可以是最终回答。模型预测一个 JSON 不等于工具已经执行;由应用完成校验、实际调用和结果写回。ReAct 展示了将推理与环境动作交替组织的思路,工程上可以保留简洁的决策摘要、调用参数和结果,不必依赖冗长的自由文本推理日志。
6.2 一次工具调用需要哪些约束
工具定义至少包括名称、功能说明、参数 schema 和错误语义。对于写操作,还要约定授权条件和幂等性。
| 阶段 | 应检查什么 |
|---|---|
| 接收调用 | 名称在注册表内;参数类型、范围和必填项合法 |
| 执行之前 | 当前用户权限;操作是否需要确认;预算是否允许 |
| 执行期间 | 超时、并发限制、可取消性 |
| 执行之后 | 结构化结果、调用 ID、实际状态和可重试性 |
同一调用 ID 应关联请求与 observation。检索等只读操作可按约定重试;创建工单等写操作不能在超时后盲目重发,需通过幂等键或状态查询判断第一次是否已成功。
6.3 一个有限循环比无限自动重试更可靠
以下是控制逻辑伪代码,接口名代表需要自行实现的组件,不是某个 SDK 的可运行 API:
1 | 载入任务与允许工具,初始化步数、token、时间预算 |
错误应尽量结构化,例如 invalid_argument、permission_denied、timeout、not_found。同一个错误连续出现时,可以补问、换检索词或停止;反复把相同请求交给同一个工具不会自动增加信息。
7. 规划、记忆与可观测性
7.1 规划是可更新的状态
计划把目标分解成待完成事项,但执行结果可能改变下一步。应区分“模型建议的计划”和“已验证完成的步骤”,由实际 observation 更新完成状态。对于简单任务,固定工作流通常更容易调试;多 Agent 会增加协调、上下文复制和错误传播成本,应有明确收益再加入。
7.2 三种记忆不要混在一起
| 记忆形式 | 保存在哪里 | 典型风险 |
|---|---|---|
| 当前上下文 | 本次请求的消息与证据 | 长度限制、无关历史干扰 |
| 外部持久记忆 | 数据库、文档或检索索引 | 过期、权限、错误记忆被再次引用 |
| 模型参数 | 训练后的权重 | 更新成本高、难以逐条追溯与删除 |
摘要不是无损压缩。重要实体、用户约束和未完成事项应结构化保存;生成的猜测不能未经验证就写成长期事实。记忆记录需包含来源、时间、适用范围和失效条件。
7.3 保存足够的 trace 才能复盘
每次任务记录模型与提示版本、输入摘要、检索候选、实际证据、调用 ID、工具结果、耗时、token 数和结束原因。敏感内容应脱敏或按权限保存,而不是为了排障复制到开放日志。
端到端成功率之外,记录 p50/p95 延迟、平均及尾部成本、无效调用率、循环次数和错误恢复率。平均延迟掩盖的长尾,可能正是用户感知最差的部分。
8. 从最小系统到可验证的改进
建立一个小而完整的任务集,先用精确检索或简单召回+单次生成跑通;再逐项加入混合检索、重排、多轮工具调用。每次只改变一个关键因素,保留每题结果,避免同时改提示、模型和数据导致无法归因。
| 对照 | 用来回答的问题 |
|---|---|
| 无检索 vs RAG | 外部资料是否带来真实收益 |
| 实际检索 vs 人工正确证据 | 瓶颈在检索还是生成 |
| 无重排 vs 有重排 | 收益是否值得额外成本 |
| 固定流程 vs 自主选择动作 | 灵活性是否提高成功率 |
| 正常工具 vs 注入超时/空结果 | 能否恢复或合理停止 |
如果想复现教材 Tiny-RAG/Tiny-Agent,可从本章对应代码快照开始,先跑文档加载、检索和只读工具的最小样本,再接真实服务。代码能跑通与系统有效是两次验收;服务密钥、依赖版本和索引配置也应独立管理。
下一章进一步讨论:保留同样的执行环境,怎样利用轨迹结果更新模型参数。推理时循环调用工具,本身不等于进行了强化学习。
9. 常见追问
RAG 与微调怎样选?
资料更新、引用追溯和权限控制通常需要外部数据系统;稳定的格式、行为和协议适配可通过微调改善。两者可以组合,应根据失败原因和评测结果选择。
为什么换了 embedding 模型要重建索引?
新旧向量未必属于同一语义坐标系,即使维度相同也不能直接比较。还要一起核对文本处理、前缀、池化与归一化配置。
提高 top-k 为什么可能让答案更差?
更多候选可能带来重复、矛盾和无关内容,并挤占有效证据与输出预算。应同时观察证据覆盖、上下文质量、正确率和成本。
Reranker 能修复召回遗漏吗?
它只能调整已进入候选集的内容。遗漏证据需要从查询、索引、过滤或召回策略处理。
Function calling 成功是否表示任务完成?
格式合法只是第一步,还要验证参数语义、执行状态和目标是否实现。写操作超时尤其不能直接视为失败再无条件重试。
Agent 为什么会陷入循环?
可能是没有明确停止条件、错误反馈不可用、历史丢失,或策略持续产生相同动作。需要预算、重复检测、结构化错误和可验证的完成条件。
LLM judge 与人工评估怎样配合?
先用明确定义的规则筛查,开放式质量可用 judge 扩大覆盖;再通过盲评和抽样人工复核校准。不要将同一模型的自评直接作为唯一上线标准。
如何判断应该改提示还是训练模型?
先排除证据、接口和执行环境错误。若高质量示例或提示已能解决问题,优先验证这一低成本方案;只有稳定、可学习且能构建有效训练与评测数据的行为差距,才值得进入训练阶段。
相关基础:第四章:规模、训练阶段与工程取舍。下一篇:Agentic RL:GRPO、OPD 与工具轨迹训练。





