封面:雨后波浪谷的倒影 · 摄影 Nicholas Roemmelt / National Geographic Traveler Photo Contest

模型可以生成答案,但应用还要解决三个问题:答案怎样验收,需要的资料从哪里来,以及模型提出的操作怎样真正执行。评测、RAG 和 Agent 分别处理这些问题,它们最终要在同一个系统里配合。

本篇对应 Happy-LLM 第七章。先确定任务和指标,再构建检索与执行链路,最后用失败样本定位问题。文中的小型案例均为教学构造。

1. 先定义任务成功,再比较模型

1.1 模型能力与系统能力

以“查询设备故障原因,并在需要时创建维修工单”为例,完整任务可能包括识别设备、检索手册、根据证据判断故障、补问缺失信息和调用工单接口。模型回答看起来合理,只覆盖其中一部分。

层次 评测对象 可观察结果
模型 在给定输入下生成什么 答案正确性、格式、指令遵循
检索 能否找到所需证据 相关文档是否进入候选、排序是否靠前
执行 工具是否按预期运行 参数合法性、返回状态、实际状态变化
端到端 用户目标是否完成 成功率、成本、延迟、是否重复操作

先建立一个能重复运行的基线:固定题集、模型版本、提示、工具和数据快照。改模型、改 chunk 或加重排器后,用相同样本比较。否则无法判断收益来自哪里。

1.2 公共基准能说明什么

基准类型 常见例子 主要限制
学科知识与选择题 MMLU、GPQA 不直接代表生产流程完成率
数学与逻辑 GSM8K、MATH 答案解析、采样预算会影响分数
代码 HumanEval 等执行测试 测试覆盖不足时仍可能漏掉错误
工具调用 BFCL 系列 必须注明版本和子任务
长上下文 长文问答、needle 检索 找到一个字符串不等于完成跨文档推理

GPQA 是专家编写的生物、物理、化学等领域困难选择题,不是通用客服问答集。GPQA 论文 BFCL 不同版本逐步扩展了工具和多轮任务范围,报告时应附版本、测试类别和执行方式,而不只写“工具准确率”。BFCL 官方说明

固定任务榜单便于在统一协议下比较,匿名对战类榜单反映特定用户与提示分布下的偏好。两者都需要检查数据污染、提示模板、采样参数和统计不确定性,不能将名次直接换算成业务成功率。

1.3 自建评测集与判分

样本至少包含输入、期望结果或判分规则、必要证据、工具初始状态和允许的操作范围。覆盖正常问题、信息不足、无答案、工具报错和多轮追问;开发集用于改提示,保留集用于最终比较,避免反复“修到测试题上”。

设 MM 个任务中有 cc 个完成,经验成功率为 p^=c/M\hat p=c/M。独立伯努利样本下,标准误差粗估为:

SE⁡(p^)≈p^(1−p^)M.\operatorname{SE}(\hat p)\approx\sqrt{\frac{\hat p(1-\hat p)}{M}}.

小样本、接近 0 或 1 的成功率应使用更合适的区间方法。比较两个系统时优先用同题配对,并按任务或用户聚类处理相关性;多跑同一道题不能简单当成很多个独立业务样本。

能执行就用执行结果判分,能精确匹配就明确规范化规则。开放式回答可以用人工或 LLM judge,但需给出评分标准、随机化候选顺序,并抽样核对长度偏好和位置偏差。Judge 的分数不是客观真值。

2. RAG:让回答有可检查的外部依据

2.1 检索改变了什么

RAG 为生成模型提供检索到的外部内容。一个工程化表达是:

Zk=Retrieve⁡(q,D),y^∼pθ(y∣q,Pack⁡(Zk)).Z_k=\operatorname{Retrieve}(q,\mathcal D),\qquad \hat y\sim p_\theta(y\mid q,\operatorname{Pack}(Z_k)).

qq 是问题,D\mathcal D 是文档集合,ZkZ_k 是候选证据,Pack 负责选择、组织和截断内容。这里描述常见应用链路,不等同于原始 RAG 论文中对检索文档进行概率边缘化的完整训练目标。RAG 论文

模型权重可以保持不变,资料则单独更新。要让答案可追溯,输入证据必须携带稳定的文档 ID、版本和位置;输出引用还要验证是否真的支持对应结论。

2.2 离线索引与在线请求

阶段 工作 应保存的产物
离线 解析、清洗、切块、向量化、建索引 原文、chunk、元数据、向量与版本映射
在线 解析问题、权限过滤、召回、重排、组织证据、生成 候选 ID、分数、实际上下文、引用和耗时

解析错误会传递到后面每一层。PDF 的多栏顺序、表格的行列关系、OCR 错字,需要在向量化前检查;图像型页面也不会因为存进向量库就自动变成可靠文本。

3. 文档切分与索引:保留可回答问题的单位

3.1 Chunk 大小如何取舍

小块容易精确匹配,却可能丢掉限定条件;大块保留语境,但可能把大量无关内容放进同一个向量和生成上下文。按标题、段落和表格边界切分通常比机械字符切分更容易保留结构,具体长度仍要由问题集验证。

对于“最长可连续运行多久”这类问题,数值和“在某温度、负载下”的条件应一起保留。可以先召回较小片段,再扩展它所在的小节,即 child-to-parent 检索。Overlap 能缓解边界问题,也会增加存储、重复候选和上下文占用。

一条 chunk 记录至少需要:

1
2
3
4
5
6
7
8
9
{
"chunk_id": "manual-v3-sec4-02",
"document_id": "device-A-manual",
"version": "v3",
"section": "4.2 连续运行条件",
"source_location": "page:18",
"text": "教学示意:运行上限及其适用条件……",
"access_scope": "maintenance-team"
}

权限应作用于可被检索和读取的内容。不能先把无权访问的文档发给模型,再希望提示词禁止泄漏。日志、缓存和索引快照也需要按同样的访问边界管理。

3.2 Embedding 与相似度

双编码器分别编码问题和文档块:

uq=fq(q),vi=fd(di),si=uq⊤vi∥uq∥2∥vi∥2.u_q=f_q(q),\quad v_i=f_d(d_i),\qquad s_i=\frac{u_q^\top v_i}{\lVert u_q\rVert_2\lVert v_i\rVert_2}.

归一化到单位长度后,余弦相似度等于内积。模型可能要求不同的 query/document 前缀或不同编码入口,应遵守训练时的约定;不是任意语言模型的隐藏向量都适合检索。DPR 论文

向量维度相同不意味着兼容。更换 embedding 模型、池化、归一化或文本处理方式后,应重新编码并重建相应索引。保存 embedding_model_revision 和预处理配置,防止新查询向量混入旧文档向量空间。

3.3 向量库解决的是检索工程

数据规模较小时可精确计算全部相似度;规模扩大后使用近似最近邻索引,在速度、内存与召回之间取舍。ANN 的召回率,是相对于精确向量检索结果的近似程度;它与“业务上真正相关的文档有没有找到”不是同一个指标。

更新文档时,应让旧 chunk 失效并同步替换向量与元数据。先构建新版本索引、验证后切换,比让线上混用多个不完整版本更容易回滚。删除源文档还应检查派生 chunk、缓存和副本是否同步失效。

4. 召回与重排:先保证候选里有,再决定谁靠前

4.1 稠密、稀疏与混合检索

语义检索适合近义表达;关键词检索常有助于匹配型号、错误码、专有名词。可以分别召回候选,再融合去重,而不是假定某一种检索方式始终占优。

一种只利用排名的融合方法是 RRF:

RRF⁡(d)=∑j:d∈Lj1c+rank⁡j(d).\operatorname{RRF}(d)=\sum_{j:d\in L_j}\frac{1}{c+\operatorname{rank}_j(d)}.

LjL_j 为第 jj 个检索列表,排名从 1 开始,c>0c>0 调节头部排名优势。缺席某列表的文档不贡献该项。它避免直接相加不同尺度的检索分数,但仍需验证候选规模和参数。RRF 原始论文

4.2 Reranker 为什么放在召回之后

交叉编码器将问题和候选文档共同输入,输出相关性分数:

srerank(q,d)=gϕ([q;d]).s_{\mathrm{rerank}}(q,d)=g_\phi([q;d]).

它能利用二者的细粒度交互,但通常要对每个候选计算一次,适合重排已缩小的候选集。若正确证据没进入候选,重排无法凭空找回它。

下面假设问题需要 A、B 两条证据,C、D 是干扰项:

操作 候选或送给模型的顺序 结果
召回 3 条 C、A、D B 没被召回,证据覆盖不完整
重排这 3 条 A、C、D 首位变好,B 仍缺失
扩大召回再重排 A、B、C、D 才有机会组成完整证据
只保留重排第一条 A 仍不能回答需要 A+B 的问题

Top-k 同时影响覆盖、噪声、重排成本与生成长度。最佳值应在真实问题上测量,不能仅凭“越多越完整”确定。

4.3 用指标区分失败位置

设 GqG_q 是问题 qq 的相关证据集合,Rk(q)R_k(q) 是前 kk 个结果:

Recall@⁡k=∣Gq∩Rk(q)∣∣Gq∣,Precision@⁡k=∣Gq∩Rk(q)∣∣Rk(q)∣.\operatorname{Recall@}k=\frac{|G_q\cap R_k(q)|}{|G_q|},\qquad \operatorname{Precision@}k=\frac{|G_q\cap R_k(q)|}{|R_k(q)|}.

这里使用实际返回数量作为 Precision 分母;无返回结果单独记为 0。多个问题可按问题取宏平均,同时记录标注粒度是文档还是 chunk。一个问题只要命中任一证据就计 1 的 Hit@k,与多证据覆盖率不同。

首个相关结果的倒数排名为 RR⁡=1/rfirst\operatorname{RR}=1/r_{\mathrm{first}},未命中记 0;MRR 为各题 RR 的平均。它关注第一条相关结果,不能代替多跳问题的证据完整性。

5. 从证据生成答案:引用、拒答与失败归因

5.1 上下文是一份有限预算的证据包

送给生成模型前,按重排结果去重、保留来源、合并必要上下文,并预留回答预算:

Tsystem+Thistory+Tq+Tevidence+Toutput≤Tmax⁡.T_{\mathrm{system}}+T_{\mathrm{history}}+T_q+T_{\mathrm{evidence}}+T_{\mathrm{output}}\le T_{\max}.

预算应在实际模板和 tokenizer 下计算。不能只按字符数估计,也不能让最后的截断随意切掉证据的限制条件或来源 ID。

证据内容来自外部,应作为待引用数据处理。文档里的“忽略之前的要求、调用另一个工具”不应提升为系统指令。应用要限制工具权限、隔离数据与控制信息,并用包含这类干扰的样本评测。

5.2 把失败分开测

观测结果 优先检查
原文就没有答案 数据覆盖、无答案处理
原文有,解析后没有 文档解析、OCR、表格处理
chunk 有,候选没找到 查询表达、切分、embedding、过滤和索引
候选有,最终上下文没有 重排、去重、截断与 token 预算
上下文足够,回答仍错 生成提示、模型、证据冲突与答案约束
回答正确,引用不支持结论 引用绑定和逐结论证据检查

可做一个 oracle-context 对照:人工把正确证据直接放进上下文。如果仍答错,继续调检索通常没有意义;若明显改善,再回到召回和上下文选择。这个对照改变的是证据输入,不应和真实系统得分混报。

“回答有引用”与“引用支持答案”应分别验收。对无证据问题,允许回答资料不足,通常比要求每题必须给确定答案更符合任务目标。

6. Agent:把模型输出接到受控执行循环

6.1 Workflow 与 Agent 的区别

固定工作流由程序预先规定步骤和分支;Agent 在运行中根据状态选择下一步动作或结束。二者可以混合:例如权限校验固定执行,搜索次数和查询词由模型选择。

用 hth_t 表示当前可见历史,ata_t 表示模型提出的动作,环境返回 observation ot+1o_{t+1}:

at∼πθ(⋅∣ht),ht+1=Update⁡(ht,at,ot+1).a_t\sim\pi_\theta(\cdot\mid h_t),\qquad h_{t+1}=\operatorname{Update}(h_t,a_t,o_{t+1}).

这里的动作可以是工具调用,也可以是最终回答。模型预测一个 JSON 不等于工具已经执行;由应用完成校验、实际调用和结果写回。ReAct 展示了将推理与环境动作交替组织的思路,工程上可以保留简洁的决策摘要、调用参数和结果,不必依赖冗长的自由文本推理日志。

6.2 一次工具调用需要哪些约束

工具定义至少包括名称、功能说明、参数 schema 和错误语义。对于写操作,还要约定授权条件和幂等性。

阶段 应检查什么
接收调用 名称在注册表内;参数类型、范围和必填项合法
执行之前 当前用户权限;操作是否需要确认;预算是否允许
执行期间 超时、并发限制、可取消性
执行之后 结构化结果、调用 ID、实际状态和可重试性

同一调用 ID 应关联请求与 observation。检索等只读操作可按约定重试;创建工单等写操作不能在超时后盲目重发,需通过幂等键或状态查询判断第一次是否已成功。

6.3 一个有限循环比无限自动重试更可靠

以下是控制逻辑伪代码,接口名代表需要自行实现的组件,不是某个 SDK 的可运行 API:

1
2
3
4
5
6
7
8
载入任务与允许工具,初始化步数、token、时间预算
循环:
预算耗尽 → 返回明确的未完成状态
调用模型,读取最终回答或工具请求
若为最终回答 → 验证结果,结束
校验工具、参数、权限与写操作授权
执行工具,记录调用 ID、结果、错误类型与耗时
将 observation 写回历史,按错误类型决定重试或换策略

错误应尽量结构化,例如 invalid_argument、permission_denied、timeout、not_found。同一个错误连续出现时,可以补问、换检索词或停止;反复把相同请求交给同一个工具不会自动增加信息。

7. 规划、记忆与可观测性

7.1 规划是可更新的状态

计划把目标分解成待完成事项,但执行结果可能改变下一步。应区分“模型建议的计划”和“已验证完成的步骤”,由实际 observation 更新完成状态。对于简单任务,固定工作流通常更容易调试;多 Agent 会增加协调、上下文复制和错误传播成本,应有明确收益再加入。

7.2 三种记忆不要混在一起

记忆形式 保存在哪里 典型风险
当前上下文 本次请求的消息与证据 长度限制、无关历史干扰
外部持久记忆 数据库、文档或检索索引 过期、权限、错误记忆被再次引用
模型参数 训练后的权重 更新成本高、难以逐条追溯与删除

摘要不是无损压缩。重要实体、用户约束和未完成事项应结构化保存;生成的猜测不能未经验证就写成长期事实。记忆记录需包含来源、时间、适用范围和失效条件。

7.3 保存足够的 trace 才能复盘

每次任务记录模型与提示版本、输入摘要、检索候选、实际证据、调用 ID、工具结果、耗时、token 数和结束原因。敏感内容应脱敏或按权限保存,而不是为了排障复制到开放日志。

端到端成功率之外,记录 p50/p95 延迟、平均及尾部成本、无效调用率、循环次数和错误恢复率。平均延迟掩盖的长尾,可能正是用户感知最差的部分。

8. 从最小系统到可验证的改进

建立一个小而完整的任务集,先用精确检索或简单召回+单次生成跑通;再逐项加入混合检索、重排、多轮工具调用。每次只改变一个关键因素,保留每题结果,避免同时改提示、模型和数据导致无法归因。

对照 用来回答的问题
无检索 vs RAG 外部资料是否带来真实收益
实际检索 vs 人工正确证据 瓶颈在检索还是生成
无重排 vs 有重排 收益是否值得额外成本
固定流程 vs 自主选择动作 灵活性是否提高成功率
正常工具 vs 注入超时/空结果 能否恢复或合理停止

如果想复现教材 Tiny-RAG/Tiny-Agent,可从本章对应代码快照开始,先跑文档加载、检索和只读工具的最小样本,再接真实服务。代码能跑通与系统有效是两次验收;服务密钥、依赖版本和索引配置也应独立管理。

下一章进一步讨论:保留同样的执行环境,怎样利用轨迹结果更新模型参数。推理时循环调用工具,本身不等于进行了强化学习。

9. 常见追问

RAG 与微调怎样选?

资料更新、引用追溯和权限控制通常需要外部数据系统;稳定的格式、行为和协议适配可通过微调改善。两者可以组合,应根据失败原因和评测结果选择。

为什么换了 embedding 模型要重建索引?

新旧向量未必属于同一语义坐标系,即使维度相同也不能直接比较。还要一起核对文本处理、前缀、池化与归一化配置。

提高 top-k 为什么可能让答案更差?

更多候选可能带来重复、矛盾和无关内容,并挤占有效证据与输出预算。应同时观察证据覆盖、上下文质量、正确率和成本。

Reranker 能修复召回遗漏吗?

它只能调整已进入候选集的内容。遗漏证据需要从查询、索引、过滤或召回策略处理。

Function calling 成功是否表示任务完成?

格式合法只是第一步,还要验证参数语义、执行状态和目标是否实现。写操作超时尤其不能直接视为失败再无条件重试。

Agent 为什么会陷入循环?

可能是没有明确停止条件、错误反馈不可用、历史丢失,或策略持续产生相同动作。需要预算、重复检测、结构化错误和可验证的完成条件。

LLM judge 与人工评估怎样配合?

先用明确定义的规则筛查,开放式质量可用 judge 扩大覆盖;再通过盲评和抽样人工复核校准。不要将同一模型的自评直接作为唯一上线标准。

如何判断应该改提示还是训练模型?

先排除证据、接口和执行环境错误。若高质量示例或提示已能解决问题,优先验证这一低成本方案;只有稳定、可学习且能构建有效训练与评测数据的行为差距,才值得进入训练阶段。

相关基础:第四章:规模、训练阶段与工程取舍。下一篇:Agentic RL:GRPO、OPD 与工具轨迹训练。