NLP 基础:文本编码、表示学习与语言模型
封面:冰岛冰川河流入海 · 摄影 Andro Loria / National Geographic Your Shot
同一句“设备无法联网”,可以作为搜索查询、故障类别的输入,也可以成为一段回答的开头。文字没有变,计算机需要完成的运算却不同:有时比较文档,有时预测标签,有时估计接下来可能出现的 token。
这些任务共用一些基础:把文本编码为离散符号,为符号建立数值表示,再利用上下文完成预测。编码保留了什么信息、表示丢掉了什么信息、训练目标奖励什么行为,会一直影响到最终结果。
本篇以 Happy-LLM 第一章 为起点,补充文本编码、表示学习与检索之间的联系。
字符与 token 决定输入单元;向量表示让符号可以参与计算;语言模型学习上下文中的概率关系;分类、检索和生成把这些能力用于不同输出。
1. 文本进入模型之前:字符、token 与词表
1.1 字符编码与模型编码是两回事
文本文件首先是一串字节。UTF-8 等字符编码规定字节怎样对应 Unicode 字符;tokenizer 则规定这段文本怎样对应模型词表中的 token ID。UTF-8 解码正确,并不意味着已经完成模型输入编码。
“字符数”本身也有不同口径:Unicode 码点、用户看到的字形、UTF-8 字节数可能不相等。例如某些 emoji 由多个码点组成。对模型而言,最终参与计算的长度是 token 序列长度,不能直接用字节数或界面显示的字符数代替。
预处理同样会改变信息。统一全角/半角可能有助于检索;把所有标点、数字或否定词删掉,却可能破坏设备型号、代码片段和“不允许执行”这样的约束。应根据任务决定规范化规则,并保留可追溯的原文。
1.2 分词与子词切分
中文分词通常寻找语言学上的词边界。LLM 的 tokenizer 则将文本转换成有限词表中的 ID,切分可能落在子词、字节或字符边界上。一个汉字几个 token、英文单词是否完整保留,都取决于具体 tokenizer。
1 | 用户文字 |
ID 是离散索引。不能用 abs(id1 - id2) 判断词义是否接近。
1.3 为什么不直接把整个词当一个 token
如果每个完整词都是词表项,常见词处理起来很方便,但型号、人名、拼写变体和新组合会持续产生。未收录的词只能退回未知词标记,细节可能丢失;持续扩大词表又会增加 embedding 表与输出分类层的体积。
如果完全按字符或字节编码,覆盖面更容易做大,但序列可能变长。后面会学到,稠密注意力在序列维度上有平方项,因此 token 数不仅影响接口计费,还会影响计算和显存。
子词方法在两者之间折中:频繁片段用较长单元表示,罕见词分解成可复用的小单元。“能编码”与“懂含义”是两件事:把陌生型号拆成若干 token,只解决了输入覆盖问题,模型仍可能不知道型号对应什么产品。
BPE、WordPiece 和 Unigram 都是子词 tokenizer 方法,都包含词表构建和实际分词两个阶段。先从训练语料中确定可用的子词,再用固定的词表和切分规则处理新文本。
1.4 BPE
词表构建。BPE 从字符、字节等基本单元开始,反复统计相邻片段对(pair)的频次,每次合并最高频的 pair,并重新统计,最终得到词表(vocabulary)和有先后顺序的合并规则(merge rules)。
实际分词。从基本单元出发,按已学到的合并优先级组合片段,不会为每条输入重新统计语料频次。
下面的实验把“统计频次”也展示出来。比如 newest 出现 6 次、widest 出现 3 次,它们都含 e + s,因此该对的频次是 9,而不是词表里出现两次就算 2。
每一步都重新统计相邻符号对,再合并最高频的一对。
简化 BPE:low × 5、lower × 2、newest × 6、widest × 3;不跨单词合并。同频时按首次出现顺序选择,演示前 8 次合并。未使用真实模型词表。
观察第一次合并:最高频的是 e + s,合并成 es 后,下一步要重新统计,原来独立的 s + t 会变成 es + t。BPE 是迭代过程;不能一次性统计完所有字符对,就把排名靠前的对同时替换。
合并规则训练完成后便固定下来,供新文本编码时使用。子词 BPE 论文
1.5 WordPiece
词表构建。WordPiece 逐步构建子词词表,但候选片段的选择不能简单等同于 BPE 的最高频 pair。常见教学近似用下面的分数体现两个片段的关联强度:
其中,分子是相邻 pair 的频次,分母是两个片段各自频次的乘积。它衡量的是相对于各自出现频率,两者有多倾向于一起出现;因此,最高频的 pair 不一定得分最高。这是教学近似,并非所有 WordPiece 训练器统一采用的规则。WordPiece 教学说明
实际分词。WordPiece 使用 longest-match-first(优先最长匹配):从左到右,在当前位置选取词表中能匹配的最长片段,再继续处理剩余部分。BERT 中的 ## 表示词内部的后续片段,例如 play | ##ing;它是词表标记,不是原文中的字符。
1.6 Unigram
词表构建。Unigram 从较大的候选词表开始,估计每个片段的概率,再逐步删减词表:优先删除那些移除后对语料似然影响较小的片段,并重新估计概率,直到达到目标词表大小。
实际分词。Unigram 比较整条切分路径的概率。对于一种切分 ,它将各片段视为独立单元,用概率乘积为该路径评分:
是文本 的所有合法切分, 是训练得到的片段概率。普通确定性编码用动态规划寻找得分最高的完整路径,不要求每一步都取最长片段;启用采样时,也可以按概率生成不同切分。Unigram 的训练与切分
1.7 三种方法的区别
BPE 按高频 pair 扩充词表,分词时执行有优先级的合并规则。WordPiece 也逐步构建词表,但候选选择不能直接套用 BPE 的频次准则,分词时采用最长匹配。Unigram 则从较大词表逐步删减,分词时根据片段概率评价整条路径。
1.8 分词工具 SentencePiece
SentencePiece 提供训练、编码和解码工具,配置 model_type='bpe' 或 model_type='unigram' 可以选择不同模型。它可以直接读取未按词切好的句子,用 ▁ 标记空格,并将词表、切分模型和规范化规则保存在 .model 文件中,供部署时加载;解码还原的是规范化后的文本。SentencePiece 使用说明
1.9 词表大小带来的取舍
| 编码单元 | 主要优点 | 主要代价 |
|---|---|---|
| 完整词 | 常见词序列较短,边界直观 | 新词和拼写变体容易落到词表外 |
| 字符或字节 | 基础单元覆盖面大 | 序列可能变长,计算位置更多 |
| 子词 | 高频片段紧凑,低频组合可拆分 | 边界不一定符合词义,仍依赖具体词表 |
在隐藏维度 固定时,大小为 的 embedding 表约含 个参数;生成模型的词表投影也与 有关,某些模型会共享输入/输出权重。扩大词表可能缩短序列,却会增大表与输出分类空间,不能只看其中一个数字。
tokenizer 的词表、合并规则、特殊 token 和模型权重必须配套。相同 ID 在另一套词表中可能表示完全不同的片段;“两套词表大小相同”也不能保证可互换。
2. 文本表示:从稀疏特征到 Embedding
2.1 One-hot、词袋和 TF-IDF:三个不同概念
设词表是 [示波器, 联网, 报修, 电源]。
1 | “联网”的 one-hot: [0, 1, 0, 0] |
One-hot 描述一个离散项;词袋汇总一段文本中的出现次数。如果只记录是否出现,则是二值词袋。词袋只统计各词出现几次,不记录顺序。例如“甲帮助乙”和“乙帮助甲”包含相同的词,词袋向量相同,但帮助者与被帮助者已经交换。
TF-IDF 给常见于当前文档、但不普遍出现于整个语料的词更高权重。一种平滑版本是:
这里 是词 在文档 中出现的次数, 是文档总数, 是包含 的文档数。
不同实现可能使用相对词频、对数词频或归一化,因此比较实验时应固定定义。
2.2 把 TF-IDF 手算一次
使用已经分好词的三篇小文档:
1 | d₁:示波器 网络 故障 |
这里有 3 篇文档。“示波器”“网络”“故障”的文档频次都是 2;“电源”“连接”“检查”的文档频次都是 1。沿用上面的平滑定义:
于是 ,。更稀有的“电源”权重更大;本例每个词只出现一次,所以词频都是 1,TF-IDF 数值就是 IDF 数值。
按词表 [示波器, 网络, 故障, 电源, 连接, 检查],文档 的未归一化向量是 。若做 L2 归一化,三个非零分量都会变成约 0.5774。
这里“稀疏”不是指向量维度小,而是大部分维度等于零。实际实现通常用稀疏矩阵保存非零项及其索引,避免为每篇文档存储整个词表长度的浮点数组。
稀疏表示的好处是可解释、能抓住精确术语。缺点是“无法联网”和“网络连接失败”没有相同关键词时可能匹配不好。对于设备型号、错误码和文件名,精确匹配仍然很有价值。
2.3 Embedding:从 token ID 查到稠密向量
One-hot 用一个非零位置标识 token,却没有表达 token 之间的关系。Embedding 为词表中的每个 token 保存一个可学习的稠密向量;这些向量如何形成,取决于后续的训练任务。
设词表大小为 ,输入向量维度为 ,位置 的 token ID 为 :
是模型参数, 是查表结果。若 是长度为 的 one-hot 行向量,则 ;实现中直接索引对应行,无须先创建 one-hot。比如 E[17] 就是读取第 17 行。
长度为 的输入得到 ,一批补齐的输入得到形状 。这些向量此时还没有融合上下文:同一个 ID 查到同一行,周围的词不会改变这次查表结果。
本篇用 表示 ID、 表示输入向量、 表示融合上下文后的隐藏表示。下一节说明模型怎样从这些输入向量计算预测概率,并通过预测任务学习 。
3. 语言模型:为序列建立概率分布
语言模型为文本序列赋予概率。先看如何从计数估计概率,再看神经网络如何计算概率,最后说明训练与评估。
3.1 链式法则与 N-gram
链式法则是精确分解,不引入独立性假设。设句子长度为 , 表示第 个词之前的完整前缀:
N-gram 才引入近似:预测当前词时,只保留最近 个词作为上下文。Bigram 只保留前一个词:
给定这一近似,基于语料频数的最大似然估计为:
是上下文 后接词 的次数, 是该上下文的后继词总次数。数据稀疏时,未见过的 N-gram 计数为 0;若分母非零,它的估计概率就是 0,进而使包含它的整个句子概率为 0。若上下文本身也未出现,分母为 0,频数比值则无法直接使用。
平滑(smoothing)为未见组合分配概率:未见过不等于不可能。例如 Add-one(加一平滑):
是词表。Add-one 主要用于理解平滑思想;词表较大时,它可能过度分配概率给未见组合,并非最佳方法。
N-gram 的主要局限是固定上下文窗口与数据稀疏:前者限制长距离依赖,后者使高阶组合难以可靠估计;平滑缓解零概率问题,但不会扩大上下文窗口。
3.2 从计数表到神经网络
两种模型都要回答同一个问题:给定前面的文本,词表中每个 token 作为下一个 token 的概率是多少?变化的是这些概率怎样得到。
| N-gram 的频数估计 | 神经语言模型 | |
|---|---|---|
| 训练得到什么 | 各个上下文与后继词的计数 | 一组共享的模型参数 |
| 遇到一个上下文时 | 找到对应计数项,归一化得到概率 | 用模型参数计算该上下文的概率分布 |
| 换一个上下文时 | 查询另一组计数项 | 仍用同一组参数,重新计算表示和概率 |
例如,“设备无法”和“设备不能”对应不同的计数项;前者的观测不会自动增加后者的计数。神经模型通过共享的 Embedding 和网络参数,让不同上下文的训练信号相互影响。它替代的是按整个上下文查计数的估计方式,预测下一 token 的任务没有变。
输入 ID 序列 经过第 2.3 节的 Embedding 查表,得到 。上下文网络再将这些输入向量组合成当前上下文的表示:
换一段输入, 通常会变;处理两段输入的参数 是同一套。 可以是固定窗口的前馈网络(FNN)、RNN/LSTM 或 Transformer,其中固定窗口 FNN 只读取选定的最近若干位置。神经语言模型是建模方式,Transformer 是其中一种可用架构。
输出层用 为整个词表打分:
第 个分量 是候选 token 的分数(logit),可以为负,也不要求总和为 1。Softmax 将这些分数转成下一 token 的概率:
这里有两类量: 是不同输入共用的参数; 是每次输入后重新计算的中间结果。训练要调整前者,使真实下一 token 获得更高概率。
3.3 交叉熵训练与困惑度评估
前一节得到的是对下一 token 的预测分布,训练文本则提供正确的下一 token。将两者比较,就能构造训练信号;一段序列同时提供多个预测任务:
1 | 输入: [BOS, 示波器, 无法, 联网] |
对位置 ,正确标签是 ,交叉熵为 。正确标签的预测概率越高,损失越小。
梯度经过输出层 、上下文网络 ,再传到 Embedding 被查取的行;优化器据此更新参数。这样, 通过同一个 next-token prediction 目标联合学习,而不需要预先给定“正确词向量”。
评估时,把目标 token 的有效位置记为 ,平均负对数似然为:
困惑度是平均负对数似然的指数。比较时必须统一 tokenizer、评测数据和有效位置等统计口径。
若三个正确 token 的预测概率依次为 0.5、0.25、0.5,则平均损失约为 0.9242,困惑度约为 2.52。它可以理解为模型在这些位置上的一种平均不确定性量度,不是“每次都会在 2.52 个词里随机选一个”,更不是错误率 2.52%。
代码里要特别小心标签对齐:输入第 个位置的输出应该对比第 个 token。若错误地对比当前位置,很可能训练出了复制输入的捷径。Padding 或不参与监督的位置也要在损失里排除;某些训练库已在内部完成输入与标签的错位对齐,调用方不能再重复移动标签。
困惑度衡量的是模型对测试文本的预测能力,无法单独评价事实正确性、检索质量或执行结果。生成一段流畅说明与完成一个实际任务,需要不同的评测。
4. 表示学习:从静态词向量到上下文化表示
预测任务也可以专门用于学习可复用的表示。下面先看 Word2Vec 怎样为每个词学习固定向量,再看上下文网络怎样让同一个词获得不同的表示。
4.1 Word2Vec:用预测任务学习词向量
Word2Vec 用局部上下文构造训练任务:CBOW 根据周围的词预测中心词,Skip-gram 根据中心词预测周围的词。训练时提供的标签是词本身,词向量随着预测任务一起学出来。
例如“示波器 出现 网络 故障”,窗口设为 1:以“网络”为中心,CBOW 的输入是“出现”和“故障”,目标是“网络”;Skip-gram 则从“网络”分别预测“出现”和“故障”。滑动窗口能从语料中自动构造这些样本。
以 Skip-gram 的全词表 softmax 为例:
是中心词的输入向量, 是目标词的输出向量;它们来自两套可学习的向量表。提高真实词对的预测概率,会调整两套向量的相对关系。训练完成后可以取出词向量,但单独某一维通常没有预先指定的语义。
Word2Vec 学到的是静态词表示。模型固定后,“苹果手机”和“吃苹果”中的“苹果”取出同一个向量。标准 Word2Vec 也无法为词表外的词直接查到向量,需要额外的处理策略。它的局部词对预测任务与前一节的自回归序列建模不同,不能直接用它完成整句生成。Word2Vec 原论文
4.2 负采样改变的是训练目标
完整 softmax 对词表求和,每个样本都要考虑大量候选。Skip-gram 的负采样把一个真实词对与若干噪声词对区分开。对中心词 和真实上下文词 ,再抽取 个噪声词 ,最小化:
这里 是 sigmoid 函数。第一项鼓励真实上下文词对得分提高,第二项鼓励抽到的噪声词对得分降低。负样本来自指定分布,训练成本随采样数量而不是直接随整个词表增长。它是替代的二分类目标,不等于已经计算出归一化的全词表概率。Word2Vec 负采样论文
这类训练得到的“相似”通常更接近上下文使用方式相似。反义词也可能共享很多上下文,因此向量接近不能直接解释为两个词在逻辑上等价。
4.3 从输入词向量到上下文表示
输入向量 只由 token ID 决定;上下文表示 还依赖其他位置的输入。例如 RNN 按顺序更新状态:
因此,同一个词出现在不同前缀后,可以得到不同的 。LSTM 用门控管理状态与信息保留,但位置之间仍存在顺序依赖。Transformer 则用注意力读取可见位置的信息,具体计算留到第二章。
上下文可见范围由模型结构与任务约束决定。自回归生成只能使用已经给出的前缀;处理一段完整文本时,也可以构造同时利用左右信息的表示。
4.4 ELMo:利用双向语言模型构造表示
ELMo 分别训练前向和后向语言模型:前者根据左侧上下文预测,后者根据右侧上下文预测。处理完整文本时,组合两方向、不同层的表示,作为下游任务的输入特征。ELMo 原论文
例如“苹果发布新手机”和“苹果切成小块”中的“苹果”,基础词身份相同,但左右上下文不同,得到的上下文化表示也不同。这里变化的是本次计算的表示,推理时不需要更新模型参数。
ELMo 展示了预训练与迁移的联系:先用文本自身构造预测标签,训练语言模型,再把学到的中间表示用于其他任务。它组合左右信息的下游表示,不等于一个自回归方向在预测时能读取未来词。
5. 文本向量与相似度
5.1 token、上下文与整段文本的表示
| 向量 | 形状示意 | 含义 | 常见用途 |
|---|---|---|---|
| token embedding | 每个 token 一个 维向量 | 输入查表结果 | 输入神经网络 |
| contextual hidden state | 每层每个位置一个 维向量 | 融合上下文的中间表示 | 预测下一个 token 等 |
| sentence/document embedding | 每条文本一个 维向量 | 为检索等任务构造的整体表示 | 向量检索与聚类 |
前两类表示对应文本中的单个位置,第三类对应整段文本。要从位置表示得到文本表示,需要明确如何汇总,以及汇总后的向量用于什么任务。
5.2 一段文本怎样得到一个向量
上下文网络通常输出 ,一段文本仍有 个位置的向量。检索需要整段文本的一条向量,就需要池化或专门的输出位置。
一种简单做法是对有效 token 做平均:
简单平均不改变特征维度,此时 。这里 是池化后的文本向量, 标记有效位置,padding 不应计入分子和分母,并要避免有效位置数为 0。其他做法包括读取特定汇总 token、最后一个有效位置或使用可学习池化。选择哪一种取决于模型的训练方式;随意改池化会改变向量空间。
更关键的是训练目标。句向量模型常使用匹配或对比目标,使相关的查询与文档靠近、无关样本分开。查询与文档还可能需要不同前缀或编码约定。生成模型的隐藏状态虽含上下文信息,却未必为这样的距离比较优化。Sentence-BERT
5.3 向量空间中的距离
令 为查询向量、 为文档向量。余弦相似度由向量夹角决定。两个向量都做 L2 归一化后,点积等于余弦相似度。相似度不是“答案正确概率”,维度相同也不意味着来自不同模型的向量能直接比较。
例如 、,点积是 0.92,两个范数约为 1.0198 和 0.9055,余弦相似度约为 0.9962。把 放大两倍,点积也放大两倍,但余弦相似度不变,因为分母会同比放大。因此,点积检索与余弦检索是否等价,要先检查归一化约定。
拖动查询方向;改变的是夹角,文档向量保持不动。
人工构造二维向量,D1 网络排查 10°、D2 设备报修 45°、D3 电源维护 80°。图不是模型 embedding 的降维投影,轴没有预设语义。
先把查询角度调到 10°:它与 D1 完全同向,相似度是 1。再调到 80°,D3 排到第一。这个实验说明检索排序由几何关系决定,却不能说明哪个文档包含完整解决步骤;后者需要内容与任务层面的评估。
下面的代码可用 Python 标准库运行。它只验证相似度计算,不代表真实语义检索结果。
1 | from math import sqrt |
实际建库与查询必须使用配套的模型、编码约定和距离定义。更换 embedding 模型通常需要重新编码文档并重建索引。
6. 从表示到任务:输出结构决定建模方式
6.1 分类、标注、抽取和生成
给文本编码之后,模型仍需一个适合任务的输出层。下面按输出结构整理常见 NLP 任务:
| 输出结构 | 常见任务 | 计算方式与关注点 |
|---|---|---|
| 一个或多个类别 | 文本分类、意图识别 | 单标签常用类别 softmax;多标签需要允许多个标签同时成立 |
| 每个位置一个标签 | 词性标注、序列标注式实体识别 | token 级预测,必要时处理标签间的合法约束 |
| 原文中的片段 | 抽取式问答、实体跨度抽取 | 预测起止位置或片段,需保留原文偏移映射 |
| 实体间的关系 | 关系抽取 | 判断实体对及关系类型,区分共现与实际关系 |
| 一个排序 | 文档检索、重排 | 学习相关性,考察相关候选出现在哪个位置 |
| 一个新序列 | 翻译、生成式摘要、生成式问答 | 按条件分布生成,评估语义、依据和完整性 |
例如命名实体识别可以用 BIO 标签表示一个实体跨度:B 是实体起点,I 是实体内部,O 表示其他位置。真实文本经过子词切分后,一个词可能对应多个 token,训练标签需要明确采用复制、首子词标注或其他对齐策略,评估时则通常要还原到实体跨度。
不能将所有任务都用 token 准确率衡量。一个三字人名只标对两个字,可能有较高逐字准确率,却没有提取出任何完整人名;实体级 precision/recall 要同时检查跨度和类别。
6.2 结构化输出与执行校验
“查询 302 房间示波器的网络故障,先别报修”既包含实体,也包含意图和动作约束。模型可以输出候选结构:
1 | { |
程序还要把设备类型映射到唯一设备 ID,处理缺失信息,核对权限,并判断允许执行的操作。Schema 能限制字段类型和枚举值,却不能证明设备真的存在,也不能证明操作符合用户意图。
因此需要区分语法有效、语义有效与执行成功。模型产生合法 JSON、工具接口返回成功、最终问题被解决,是不同的观察结果。这样的分层也能帮助调试:参数提取错误与工具超时不应该归为同一种失败。
6.3 方法演进没有消除这些边界
规则方法把知识写进规则,统计方法从数据估计特征与概率,神经模型进一步学习表示,预训练让表示能够迁移到不同任务。它们可以在一个系统里共存:正则校验编号,关键词检索查错误码,向量检索处理同义改写,生成模型组织答案。
选用哪种方法,取决于输入变化、错误代价、可用数据和资源约束。复杂模型不一定比一个明确的规则更适合精确格式校验。
7. 检索与生成怎样组成一个系统
RAG 先取回资料,再让生成模型基于问题和资料组织回答。离线建库与在线查询使用不同的数据流:
1 | 离线:文档 → 解析 → 分块 → 编码 → 索引与来源元数据 |
每一步都改变下一步能使用的信息。没有解析出来的表格无法被正确分块,没有进入候选集的证据无法由重排补回,被截断的来源也无法支持最后的引用。
7.1 解析、分块、召回与生成
文档解析首先决定信息有没有被读进来。PDF 的两栏错序、表格跨行断裂、图片里的告警代码没被识别,都不是换 embedding 能自动解决的问题。应保存解析前后的抽样对照,并保留文档 ID、页码、标题等来源信息。
分块决定一次召回携带多少上下文。太小可能只召回“按此按钮”,丢失按钮名称与前置条件;太大可能把大量无关段落一起塞进提示,还降低一段文本表示的针对性。重叠窗口可以降低边界断裂,但会引入重复,所以要同时考虑去重与 token 预算。
召回追求把可能相关的候选找进来;重排进一步对问题与候选之间的匹配做判断。它们承担不同职责,增加重排不意味着可以忽略召回遗漏:没有进入候选集的段落,重排器无从补回。
答案构造要保存证据映射:回答引用的段落 ID 必须能追溯到真实文档。模型输出 [3] 只是一个字符串,程序应该检查它是否属于本次提供的来源集合。查到证据与依据证据正确回答仍是两个步骤。
7.2 稀疏与稠密检索的互补
“错误 E1042”与“错误 E1043”在自然语言形式上很相似,但业务意义可能完全不同。向量检索擅长某些语义改写,不保证对每一个数字或型号严格区分。关键词检索则能为这些精确符号提供补充。
一个简单混合策略是分别召回候选,再按排序融合。不要把 BM25 分数和余弦相似度未经校准直接相加,它们的尺度不同。无论使用何种融合办法,都需要在自己的问题集上检查收益,尤其是精确编号问题和语义改写问题这两类。
7.3 分层评估与故障定位
| 观察 | 优先检查 | 可做的对照实验 |
|---|---|---|
| 型号完全匹配却找不到 | 分块是否切断型号;索引字段是否保留 | 关键词召回 vs 向量召回 |
| 召回相关主题,但没有答案 | chunk 是否包含完整步骤和前置条件 | 按标题/段落分块 vs 固定长度 |
| 检索正确,回答仍出错 | 拼接时是否截断证据;指令与证据是否混淆 | 固定召回结果,只比较生成阶段 |
| 更新资料后答案仍旧 | 文档版本、索引刷新和缓存失效 | 新旧文档各准备一条可验证问题 |
不能仅凭几道展示题选方案。保存一批带“相关段落 ID”和“预期行为”的问题,划分开发与保留测试集。先计算 Recall@k = 前 k 条召回中的相关段落数 / 全部相关段落数,再评估答案依据和端到端成功率。如果每题只有一个标注相关段落,Recall@k 就退化成是否命中的 0/1。
这里假设实际返回了 条,且相关集合 非空。如果一题有 2 个相关段落,前 5 条召回只含其中 1 个,Recall@5 是 0.5,Precision@5 是 0.2。只看召回率,往往会倾向增加 ;但更大的 也会增加上下文长度、噪声和后续处理成本,所以应一起报告质量与成本。
对无答案问题,需要单独考察系统是否能拒绝猜测或请求补充信息,不能为了套用上式而伪造一个“相关段落”。
7.4 上下文预算与信息保留
1 | 输入预算 = 系统消息 + 工具定义 + 历史消息 + 检索材料 + 当前问题 |
实际计算还要考虑聊天模板、特殊 token 和接口定义的计数方式。不能把 len(text) 当 token 数。离线模型应使用对应的 tokenizer 和聊天模板;托管接口以其计数工具、文档以及响应 usage 为准。
应记录 tokenizer 名称和版本、截断策略、原始/保留 token 数。超限时优先移除重复检索结果、无关历史与冗长日志,保留当前任务、关键事实和工具执行状态。仅留下“最新几条消息”可能切断一次工具调用与它的结果。
例如,上下文上限设为 8192 token,预留输出 1024,那么输入最多 7168。若系统消息与工具定义合计 1600、历史 2200、当前问题 200,则留给检索资料的预算最多为 3168。这些都是假设的 token 计数,不是根据汉字数换算出来的值。
工程里还需要检查模型是否另有输出上限,并为模板变化留余量。预算分配应当是显式代码,而不是等模型接口报错后随机删一段文字。
8. 常见追问
词表越大越好吗?
更大的词表可能用较少 token 表示常见文本,但会扩大 embedding 与输出分类空间。还需要看语料覆盖、序列长度、训练统计和推理成本,不能只优化词表大小。
One-hot 与 embedding 查表是什么关系?
One-hot 乘 embedding 矩阵等价于取出对应行。前者方便描述数学关系,后者避免创建高维稀疏向量,是通常的实现方式。查表结果本身尚未融合本次上下文。
Word2Vec、ELMo 与句向量分别表示什么?
标准 Word2Vec 通常给词表内每个词一个固定向量;ELMo 让词在不同上下文中具有不同表示;句向量则把整段文本映射到一个向量,常为检索等任务专门训练。上下文化与面向检索训练是不同的性质。
为什么不同 tokenizer 的困惑度不宜直接比较?
困惑度按预测单元统计。一个模型把一个词编码成一个 token,另一个拆成三个,平均损失的分母和条件预测任务已经不同。还必须统一文本、特殊标记和有效位置等统计口径。
归一化后,余弦相似度、点积和欧氏距离怎样联系?
两个向量均为单位向量时,点积等于余弦相似度,欧氏距离的平方等于 2 减去两倍点积,因此排序可以对应。零向量不能正常归一化;不同模型的坐标空间也不能仅因维度相同而混用。
检索命中了相关主题,为什么仍可能答错?
主题相关不代表包含答案;候选段落可能缺少步骤、条件或时间范围。应依次检查目标证据是否存在、是否被召回、是否进入最终上下文,以及回答是否受到证据支持。





