封面:冰岛冰川河流入海 · 摄影 Andro Loria / National Geographic Your Shot

同一句“设备无法联网”,可以作为搜索查询、故障类别的输入,也可以成为一段回答的开头。文字没有变,计算机需要完成的运算却不同:有时比较文档,有时预测标签,有时估计接下来可能出现的 token。

这些任务共用一些基础:把文本编码为离散符号,为符号建立数值表示,再利用上下文完成预测。编码保留了什么信息、表示丢掉了什么信息、训练目标奖励什么行为,会一直影响到最终结果。

本篇以 Happy-LLM 第一章 为起点,补充文本编码、表示学习与检索之间的联系。

文本处理中的四个层次

字符与 token 决定输入单元;向量表示让符号可以参与计算;语言模型学习上下文中的概率关系;分类、检索和生成把这些能力用于不同输出。

1. 文本进入模型之前:字符、token 与词表

1.1 字符编码与模型编码是两回事

文本文件首先是一串字节。UTF-8 等字符编码规定字节怎样对应 Unicode 字符;tokenizer 则规定这段文本怎样对应模型词表中的 token ID。UTF-8 解码正确,并不意味着已经完成模型输入编码。

“字符数”本身也有不同口径:Unicode 码点、用户看到的字形、UTF-8 字节数可能不相等。例如某些 emoji 由多个码点组成。对模型而言,最终参与计算的长度是 token 序列长度,不能直接用字节数或界面显示的字符数代替。

预处理同样会改变信息。统一全角/半角可能有助于检索;把所有标点、数字或否定词删掉,却可能破坏设备型号、代码片段和“不允许执行”这样的约束。应根据任务决定规范化规则,并保留可追溯的原文。

1.2 分词与子词切分

中文分词通常寻找语言学上的词边界。LLM 的 tokenizer 则将文本转换成有限词表中的 ID,切分可能落在子词、字节或字符边界上。一个汉字几个 token、英文单词是否完整保留,都取决于具体 tokenizer。

1
2
3
4
5
用户文字
→ tokenizer:切分并查词表
→ token IDs:例如 [17, 83, 29],这里只是示意
→ embedding 查表:每个 ID 变成一个向量
→ 神经网络处理

ID 是离散索引。不能用 abs(id1 - id2) 判断词义是否接近。

1.3 为什么不直接把整个词当一个 token

如果每个完整词都是词表项,常见词处理起来很方便,但型号、人名、拼写变体和新组合会持续产生。未收录的词只能退回未知词标记,细节可能丢失;持续扩大词表又会增加 embedding 表与输出分类层的体积。

如果完全按字符或字节编码,覆盖面更容易做大,但序列可能变长。后面会学到,稠密注意力在序列维度上有平方项,因此 token 数不仅影响接口计费,还会影响计算和显存。

子词方法在两者之间折中:频繁片段用较长单元表示,罕见词分解成可复用的小单元。“能编码”与“懂含义”是两件事:把陌生型号拆成若干 token,只解决了输入覆盖问题,模型仍可能不知道型号对应什么产品。

BPE、WordPiece 和 Unigram 都是子词 tokenizer 方法,都包含词表构建和实际分词两个阶段。先从训练语料中确定可用的子词,再用固定的词表和切分规则处理新文本。

1.4 BPE

词表构建。BPE 从字符、字节等基本单元开始,反复统计相邻片段对(pair)的频次,每次合并最高频的 pair,并重新统计,最终得到词表(vocabulary)和有先后顺序的合并规则(merge rules)。

实际分词。从基本单元出发,按已学到的合并优先级组合片段,不会为每条输入重新统计语料频次。

下面的实验把“统计频次”也展示出来。比如 newest 出现 6 次、widest 出现 3 次,它们都含 e + s,因此该对的频次是 9,而不是词表里出现两次就算 2。

01
边读边实验
看见一个子词怎样形成

每一步都重新统计相邻符号对,再合并最高频的一对。

训练语料 · 单词及出现次数
当前相邻符号对 · 按频次排序

简化 BPE:low × 5、lower × 2、newest × 6、widest × 3;不跨单词合并。同频时按首次出现顺序选择,演示前 8 次合并。未使用真实模型词表。

观察第一次合并:最高频的是 e + s,合并成 es 后,下一步要重新统计,原来独立的 s + t 会变成 es + t。BPE 是迭代过程;不能一次性统计完所有字符对,就把排名靠前的对同时替换。

合并规则训练完成后便固定下来,供新文本编码时使用。子词 BPE 论文

1.5 WordPiece

词表构建。WordPiece 逐步构建子词词表,但候选片段的选择不能简单等同于 BPE 的最高频 pair。常见教学近似用下面的分数体现两个片段的关联强度:

score⁡(a,b)=freq⁡(a,b)freq⁡(a)freq⁡(b)\operatorname{score}(a,b)=\frac{\operatorname{freq}(a,b)}{\operatorname{freq}(a)\operatorname{freq}(b)}

其中,分子是相邻 pair 的频次,分母是两个片段各自频次的乘积。它衡量的是相对于各自出现频率,两者有多倾向于一起出现;因此,最高频的 pair 不一定得分最高。这是教学近似,并非所有 WordPiece 训练器统一采用的规则。WordPiece 教学说明

实际分词。WordPiece 使用 longest-match-first(优先最长匹配):从左到右,在当前位置选取词表中能匹配的最长片段,再继续处理剩余部分。BERT 中的 ## 表示词内部的后续片段,例如 play | ##ing;它是词表标记,不是原文中的字符。

1.6 Unigram

词表构建。Unigram 从较大的候选词表开始,估计每个片段的概率,再逐步删减词表:优先删除那些移除后对语料似然影响较小的片段,并重新估计概率,直到达到目标词表大小。

实际分词。Unigram 比较整条切分路径的概率。对于一种切分 s=(t1,…,tm)s=(t_1,\ldots,t_m),它将各片段视为独立单元,用概率乘积为该路径评分:

P(s)=∏i=1mp(ti),s∗=arg⁡max⁡s∈S(x)∑i=1mlog⁡p(ti)P(s)=\prod_{i=1}^{m}p(t_i),\qquad s^*=\arg\max_{s\in\mathcal{S}(x)}\sum_{i=1}^{m}\log p(t_i)

S(x)\mathcal{S}(x) 是文本 xx 的所有合法切分,p(ti)p(t_i) 是训练得到的片段概率。普通确定性编码用动态规划寻找得分最高的完整路径,不要求每一步都取最长片段;启用采样时,也可以按概率生成不同切分。Unigram 的训练与切分

1.7 三种方法的区别

BPE 按高频 pair 扩充词表,分词时执行有优先级的合并规则。WordPiece 也逐步构建词表,但候选选择不能直接套用 BPE 的频次准则,分词时采用最长匹配。Unigram 则从较大词表逐步删减,分词时根据片段概率评价整条路径。

1.8 分词工具 SentencePiece

SentencePiece 提供训练、编码和解码工具,配置 model_type='bpe' 或 model_type='unigram' 可以选择不同模型。它可以直接读取未按词切好的句子,用 ▁ 标记空格,并将词表、切分模型和规范化规则保存在 .model 文件中,供部署时加载;解码还原的是规范化后的文本。SentencePiece 使用说明

1.9 词表大小带来的取舍

编码单元 主要优点 主要代价
完整词 常见词序列较短,边界直观 新词和拼写变体容易落到词表外
字符或字节 基础单元覆盖面大 序列可能变长,计算位置更多
子词 高频片段紧凑,低频组合可拆分 边界不一定符合词义,仍依赖具体词表

在隐藏维度 dd 固定时,大小为 VV 的 embedding 表约含 VdVd 个参数;生成模型的词表投影也与 VV 有关,某些模型会共享输入/输出权重。扩大词表可能缩短序列,却会增大表与输出分类空间,不能只看其中一个数字。

tokenizer 的词表、合并规则、特殊 token 和模型权重必须配套。相同 ID 在另一套词表中可能表示完全不同的片段;“两套词表大小相同”也不能保证可互换。

2. 文本表示:从稀疏特征到 Embedding

2.1 One-hot、词袋和 TF-IDF:三个不同概念

设词表是 [示波器, 联网, 报修, 电源]。

1
2
“联网”的 one-hot:       [0, 1, 0, 0]
“示波器 联网 联网”的词袋:[1, 2, 0, 0]

One-hot 描述一个离散项;词袋汇总一段文本中的出现次数。如果只记录是否出现,则是二值词袋。词袋只统计各词出现几次,不记录顺序。例如“甲帮助乙”和“乙帮助甲”包含相同的词,词袋向量相同,但帮助者与被帮助者已经交换。

TF-IDF 给常见于当前文档、但不普遍出现于整个语料的词更高权重。一种平滑版本是:

TFIDF⁡(t,d)=tf⁡(t,d)(ln⁡1+N1+df⁡(t)+1).\operatorname{TFIDF}(t,d)=\operatorname{tf}(t,d)\left(\ln\frac{1+N}{1+\operatorname{df}(t)}+1\right).

这里 tf⁡(t,d)\operatorname{tf}(t,d) 是词 tt 在文档 dd 中出现的次数,NN 是文档总数,df⁡(t)\operatorname{df}(t) 是包含 tt 的文档数。

不同实现可能使用相对词频、对数词频或归一化,因此比较实验时应固定定义。

2.2 把 TF-IDF 手算一次

使用已经分好词的三篇小文档:

1
2
3
d₁:示波器 网络 故障
d₂:示波器 电源 故障
d₃:网络 连接 检查

这里有 3 篇文档。“示波器”“网络”“故障”的文档频次都是 2;“电源”“连接”“检查”的文档频次都是 1。沿用上面的平滑定义:

idf⁡(t)=ln⁡1+N1+df⁡(t)+1.\operatorname{idf}(t)=\ln\frac{1+N}{1+\operatorname{df}(t)}+1.

于是 idf⁡(网络)=ln⁡(4/3)+1≈1.2877\operatorname{idf}(\text{网络})=\ln(4/3)+1\approx1.2877,idf⁡(电源)=ln⁡(4/2)+1≈1.6931\operatorname{idf}(\text{电源})=\ln(4/2)+1\approx1.6931。更稀有的“电源”权重更大;本例每个词只出现一次,所以词频都是 1,TF-IDF 数值就是 IDF 数值。

按词表 [示波器, 网络, 故障, 电源, 连接, 检查],文档 d1d_1 的未归一化向量是 [1.2877,1.2877,1.2877,0,0,0][1.2877,1.2877,1.2877,0,0,0]。若做 L2 归一化,三个非零分量都会变成约 0.5774。

这里“稀疏”不是指向量维度小,而是大部分维度等于零。实际实现通常用稀疏矩阵保存非零项及其索引,避免为每篇文档存储整个词表长度的浮点数组。

稀疏表示的好处是可解释、能抓住精确术语。缺点是“无法联网”和“网络连接失败”没有相同关键词时可能匹配不好。对于设备型号、错误码和文件名,精确匹配仍然很有价值。

2.3 Embedding:从 token ID 查到稠密向量

One-hot 用一个非零位置标识 token,却没有表达 token 之间的关系。Embedding 为词表中的每个 token 保存一个可学习的稠密向量;这些向量如何形成,取决于后续的训练任务。

设词表大小为 VV,输入向量维度为 dd,位置 tt 的 token ID 为 iti_t:

E∈RV×d,et=E[it,:]∈Rd.E\in\mathbb R^{V\times d},\qquad e_t=E[i_t,:]\in\mathbb R^d.

EE 是模型参数,ete_t 是查表结果。若 utu_t 是长度为 VV 的 one-hot 行向量,则 et=utEe_t=u_tE;实现中直接索引对应行,无须先创建 one-hot。比如 E[17] 就是读取第 17 行。

长度为 TT 的输入得到 X=[e1;…;eT]∈RT×dX=[e_1;\ldots;e_T]\in\mathbb R^{T\times d},一批补齐的输入得到形状 [B,T,d][B,T,d]。这些向量此时还没有融合上下文:同一个 ID 查到同一行,周围的词不会改变这次查表结果。

本篇用 iti_t 表示 ID、ete_t 表示输入向量、hth_t 表示融合上下文后的隐藏表示。下一节说明模型怎样从这些输入向量计算预测概率,并通过预测任务学习 EE。

3. 语言模型:为序列建立概率分布

语言模型为文本序列赋予概率。先看如何从计数估计概率,再看神经网络如何计算概率,最后说明训练与评估。

3.1 链式法则与 N-gram

链式法则是精确分解,不引入独立性假设。设句子长度为 TT,w<tw_{<t} 表示第 tt 个词之前的完整前缀:

P(w1,…,wT)=∏t=1TP(wt∣w<t).P(w_1,\ldots,w_T)=\prod_{t=1}^{T}P(w_t\mid w_{<t}).

N-gram 才引入近似:预测当前词时,只保留最近 n−1n-1 个词作为上下文。Bigram 只保留前一个词:

P(wt∣w<t)≈P(wt∣wt−1).P(w_t\mid w_{<t})\approx P(w_t\mid w_{t-1}).

给定这一近似,基于语料频数的最大似然估计为:

P^MLE(wt∣wt−1)=C(wt−1,wt)C(wt−1).\widehat P_{\mathrm{MLE}}(w_t\mid w_{t-1}) =\frac{C(w_{t-1},w_t)}{C(w_{t-1})}.

C(h,w)C(h,w) 是上下文 hh 后接词 ww 的次数,C(h)=∑w∈VC(h,w)C(h)=\sum_{w\in\mathcal V}C(h,w) 是该上下文的后继词总次数。数据稀疏时,未见过的 N-gram 计数为 0;若分母非零,它的估计概率就是 0,进而使包含它的整个句子概率为 0。若上下文本身也未出现,分母为 0,频数比值则无法直接使用。

平滑(smoothing)为未见组合分配概率:未见过不等于不可能。例如 Add-one(加一平滑):

P^add-one(w∣h)=C(h,w)+1C(h)+∣V∣.\widehat P_{\mathrm{add\text{-}one}}(w\mid h) =\frac{C(h,w)+1}{C(h)+|\mathcal V|}.

V\mathcal V 是词表。Add-one 主要用于理解平滑思想;词表较大时,它可能过度分配概率给未见组合,并非最佳方法。

N-gram 的主要局限是固定上下文窗口与数据稀疏:前者限制长距离依赖,后者使高阶组合难以可靠估计;平滑缓解零概率问题,但不会扩大上下文窗口。

3.2 从计数表到神经网络

两种模型都要回答同一个问题:给定前面的文本,词表中每个 token 作为下一个 token 的概率是多少?变化的是这些概率怎样得到。

N-gram 的频数估计 神经语言模型
训练得到什么 各个上下文与后继词的计数 一组共享的模型参数
遇到一个上下文时 找到对应计数项,归一化得到概率 用模型参数计算该上下文的概率分布
换一个上下文时 查询另一组计数项 仍用同一组参数,重新计算表示和概率

例如,“设备无法”和“设备不能”对应不同的计数项;前者的观测不会自动增加后者的计数。神经模型通过共享的 Embedding 和网络参数,让不同上下文的训练信号相互影响。它替代的是按整个上下文查计数的估计方式,预测下一 token 的任务没有变。

输入 ID 序列 i≤ti_{\le t} 经过第 2.3 节的 Embedding 查表,得到 X≤t∈Rt×dX_{\le t}\in\mathbb R^{t\times d}。上下文网络再将这些输入向量组合成当前上下文的表示:

ht=fθ(X≤t)∈Rdh.h_t=f_\theta(X_{\le t})\in\mathbb R^{d_h}.

换一段输入,hth_t 通常会变;处理两段输入的参数 θ\theta 是同一套。fθf_\theta 可以是固定窗口的前馈网络(FNN)、RNN/LSTM 或 Transformer,其中固定窗口 FNN 只读取选定的最近若干位置。神经语言模型是建模方式,Transformer 是其中一种可用架构。

输出层用 hth_t 为整个词表打分:

zt=htW+b∈RV,W∈Rdh×V,b∈RV.z_t=h_tW+b\in\mathbb R^V,\qquad W\in\mathbb R^{d_h\times V},\quad b\in\mathbb R^V.

第 vv 个分量 zt,vz_{t,v} 是候选 token 的分数(logit),可以为负,也不要求总和为 1。Softmax 将这些分数转成下一 token 的概率:

P(it+1=v∣i≤t)=exp⁡(zt,v)∑u=1Vexp⁡(zt,u).P(i_{t+1}=v\mid i_{\le t}) =\frac{\exp(z_{t,v})}{\sum_{u=1}^{V}\exp(z_{t,u})}.

这里有两类量:E,θ,W,bE,\theta,W,b 是不同输入共用的参数;X≤t,ht,ztX_{\le t},h_t,z_t 是每次输入后重新计算的中间结果。训练要调整前者,使真实下一 token 获得更高概率。

3.3 交叉熵训练与困惑度评估

前一节得到的是对下一 token 的预测分布,训练文本则提供正确的下一 token。将两者比较,就能构造训练信号;一段序列同时提供多个预测任务:

1
2
输入: [BOS, 示波器, 无法, 联网]
标签: [示波器, 无法, 联网, EOS]

对位置 tt,正确标签是 it+1i_{t+1},交叉熵为 Lt=−ln⁡P(it+1∣i≤t)\mathcal L_t=-\ln P(i_{t+1}\mid i_{\le t})。正确标签的预测概率越高,损失越小。

梯度经过输出层 W,bW,b、上下文网络 fθf_\theta,再传到 Embedding 被查取的行;优化器据此更新参数。这样,E,θ,W,bE,\theta,W,b 通过同一个 next-token prediction 目标联合学习,而不需要预先给定“正确词向量”。

评估时,把目标 token 的有效位置记为 1,…,T1,\ldots,T,平均负对数似然为:

L=−1T∑t=1Tln⁡P(it∣i<t),PPL⁡=eL.\mathcal L=-\frac1T\sum_{t=1}^{T}\ln P(i_t\mid i_{<t}),\qquad \operatorname{PPL}=\mathrm{e}^{\mathcal L}.

困惑度是平均负对数似然的指数。比较时必须统一 tokenizer、评测数据和有效位置等统计口径。

若三个正确 token 的预测概率依次为 0.5、0.25、0.5,则平均损失约为 0.9242,困惑度约为 2.52。它可以理解为模型在这些位置上的一种平均不确定性量度,不是“每次都会在 2.52 个词里随机选一个”,更不是错误率 2.52%。

代码里要特别小心标签对齐:输入第 tt 个位置的输出应该对比第 t+1t+1 个 token。若错误地对比当前位置,很可能训练出了复制输入的捷径。Padding 或不参与监督的位置也要在损失里排除;某些训练库已在内部完成输入与标签的错位对齐,调用方不能再重复移动标签。

困惑度衡量的是模型对测试文本的预测能力,无法单独评价事实正确性、检索质量或执行结果。生成一段流畅说明与完成一个实际任务,需要不同的评测。

4. 表示学习:从静态词向量到上下文化表示

预测任务也可以专门用于学习可复用的表示。下面先看 Word2Vec 怎样为每个词学习固定向量,再看上下文网络怎样让同一个词获得不同的表示。

4.1 Word2Vec:用预测任务学习词向量

Word2Vec 用局部上下文构造训练任务:CBOW 根据周围的词预测中心词,Skip-gram 根据中心词预测周围的词。训练时提供的标签是词本身,词向量随着预测任务一起学出来。

例如“示波器 出现 网络 故障”,窗口设为 1:以“网络”为中心,CBOW 的输入是“出现”和“故障”,目标是“网络”;Skip-gram 则从“网络”分别预测“出现”和“故障”。滑动窗口能从语料中自动构造这些样本。

以 Skip-gram 的全词表 softmax 为例:

P(wo∣wc)=exp⁡(uwo⊤vwc)∑w∈Vexp⁡(uw⊤vwc).P(w_o\mid w_c)=\frac{\exp(u_{w_o}^{\top}v_{w_c})}{\sum_{w\in\mathcal V}\exp(u_w^{\top}v_{w_c})}.

vwcv_{w_c} 是中心词的输入向量,uwou_{w_o} 是目标词的输出向量;它们来自两套可学习的向量表。提高真实词对的预测概率,会调整两套向量的相对关系。训练完成后可以取出词向量,但单独某一维通常没有预先指定的语义。

Word2Vec 学到的是静态词表示。模型固定后,“苹果手机”和“吃苹果”中的“苹果”取出同一个向量。标准 Word2Vec 也无法为词表外的词直接查到向量,需要额外的处理策略。它的局部词对预测任务与前一节的自回归序列建模不同,不能直接用它完成整句生成。Word2Vec 原论文

4.2 负采样改变的是训练目标

完整 softmax 对词表求和,每个样本都要考虑大量候选。Skip-gram 的负采样把一个真实词对与若干噪声词对区分开。对中心词 wcw_c 和真实上下文词 wow_o,再抽取 KK 个噪声词 n1,…,nKn_1,\ldots,n_K,最小化:

LNS=−log⁡σ(uwo⊤vwc)−∑i=1Klog⁡σ(−uni⊤vwc).\mathcal L_{\mathrm{NS}}=-\log\sigma(u_{w_o}^\top v_{w_c})-\sum_{i=1}^{K}\log\sigma(-u_{n_i}^\top v_{w_c}).

这里 σ(z)=1/(1+e−z)\sigma(z)=1/(1+\mathrm{e}^{-z}) 是 sigmoid 函数。第一项鼓励真实上下文词对得分提高,第二项鼓励抽到的噪声词对得分降低。负样本来自指定分布,训练成本随采样数量而不是直接随整个词表增长。它是替代的二分类目标,不等于已经计算出归一化的全词表概率。Word2Vec 负采样论文

这类训练得到的“相似”通常更接近上下文使用方式相似。反义词也可能共享很多上下文,因此向量接近不能直接解释为两个词在逻辑上等价。

4.3 从输入词向量到上下文表示

输入向量 ete_t 只由 token ID 决定;上下文表示 hth_t 还依赖其他位置的输入。例如 RNN 按顺序更新状态:

ht=fθ(et,ht−1).h_t=f_\theta(e_t,h_{t-1}).

因此,同一个词出现在不同前缀后,可以得到不同的 hth_t。LSTM 用门控管理状态与信息保留,但位置之间仍存在顺序依赖。Transformer 则用注意力读取可见位置的信息,具体计算留到第二章。

上下文可见范围由模型结构与任务约束决定。自回归生成只能使用已经给出的前缀;处理一段完整文本时,也可以构造同时利用左右信息的表示。

4.4 ELMo:利用双向语言模型构造表示

ELMo 分别训练前向和后向语言模型:前者根据左侧上下文预测,后者根据右侧上下文预测。处理完整文本时,组合两方向、不同层的表示,作为下游任务的输入特征。ELMo 原论文

例如“苹果发布新手机”和“苹果切成小块”中的“苹果”,基础词身份相同,但左右上下文不同,得到的上下文化表示也不同。这里变化的是本次计算的表示,推理时不需要更新模型参数。

ELMo 展示了预训练与迁移的联系:先用文本自身构造预测标签,训练语言模型,再把学到的中间表示用于其他任务。它组合左右信息的下游表示,不等于一个自回归方向在预测时能读取未来词。

5. 文本向量与相似度

5.1 token、上下文与整段文本的表示

向量 形状示意 含义 常见用途
token embedding 每个 token 一个 dd 维向量 输入查表结果 输入神经网络
contextual hidden state 每层每个位置一个 dhd_h 维向量 融合上下文的中间表示 预测下一个 token 等
sentence/document embedding 每条文本一个 dsd_s 维向量 为检索等任务构造的整体表示 向量检索与聚类

前两类表示对应文本中的单个位置,第三类对应整段文本。要从位置表示得到文本表示,需要明确如何汇总,以及汇总后的向量用于什么任务。

5.2 一段文本怎样得到一个向量

上下文网络通常输出 H∈RT×dhH\in\mathbb R^{T\times d_h},一段文本仍有 TT 个位置的向量。检索需要整段文本的一条向量,就需要池化或专门的输出位置。

一种简单做法是对有效 token 做平均:

s=∑t=1Tmtht∑t=1Tmt∈Rdh,mt∈{0,1}.s=\frac{\sum_{t=1}^{T}m_t h_t}{\sum_{t=1}^{T}m_t}\in\mathbb R^{d_h},\qquad m_t\in\{0,1\}.

简单平均不改变特征维度,此时 ds=dhd_s=d_h。这里 ss 是池化后的文本向量,mtm_t 标记有效位置,padding 不应计入分子和分母,并要避免有效位置数为 0。其他做法包括读取特定汇总 token、最后一个有效位置或使用可学习池化。选择哪一种取决于模型的训练方式;随意改池化会改变向量空间。

更关键的是训练目标。句向量模型常使用匹配或对比目标,使相关的查询与文档靠近、无关样本分开。查询与文档还可能需要不同前缀或编码约定。生成模型的隐藏状态虽含上下文信息,却未必为这样的距离比较优化。Sentence-BERT

5.3 向量空间中的距离

令 qq 为查询向量、rr 为文档向量。余弦相似度由向量夹角决定。两个向量都做 L2 归一化后,点积等于余弦相似度。相似度不是“答案正确概率”,维度相同也不意味着来自不同模型的向量能直接比较。

sim⁡(q,r)=∑iqiri∑iqi2∑iri2.\operatorname{sim}(q,r)=\frac{\sum_i q_i r_i}{\sqrt{\sum_i q_i^2}\sqrt{\sum_i r_i^2}}.

例如 q=[1,0.2]q=[1,0.2]、r=[0.9,0.1]r=[0.9,0.1],点积是 0.92,两个范数约为 1.0198 和 0.9055,余弦相似度约为 0.9962。把 rr 放大两倍,点积也放大两倍,但余弦相似度不变,因为分母会同比放大。因此,点积检索与余弦检索是否等价,要先检查归一化约定。

02
边读边实验
相似度是一种几何关系

拖动查询方向;改变的是夹角,文档向量保持不动。

查询 Q虚线:固定文档 D1 / D2 / D3
sim⁡(q,r)=q⊤r∥q∥2∥r∥2=cos⁡θ\operatorname{sim}(q,r)=\frac{q^\top r}{\|q\|_2\|r\|_2}=\cos\theta

人工构造二维向量,D1 网络排查 10°、D2 设备报修 45°、D3 电源维护 80°。图不是模型 embedding 的降维投影,轴没有预设语义。

先把查询角度调到 10°:它与 D1 完全同向,相似度是 1。再调到 80°,D3 排到第一。这个实验说明检索排序由几何关系决定,却不能说明哪个文档包含完整解决步骤;后者需要内容与任务层面的评估。

下面的代码可用 Python 标准库运行。它只验证相似度计算,不代表真实语义检索结果。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from math import sqrt

def cosine(a, b):
if len(a) != len(b) or not a:
raise ValueError("向量必须非空且维度一致")
na = sqrt(sum(x * x for x in a))
nb = sqrt(sum(x * x for x in b))
if na == 0 or nb == 0:
raise ValueError("零向量没有定义良好的余弦相似度")
return sum(x * y for x, y in zip(a, b)) / (na * nb)

query = [1.0, 0.2] # 人工构造,不是模型输出
docs = {"网络排查": [0.9, 0.1], "电源维护": [0.1, 0.9]}
print(sorted(((name, cosine(query, vec)) for name, vec in docs.items()),
key=lambda item: item[1], reverse=True))

实际建库与查询必须使用配套的模型、编码约定和距离定义。更换 embedding 模型通常需要重新编码文档并重建索引。

6. 从表示到任务:输出结构决定建模方式

6.1 分类、标注、抽取和生成

给文本编码之后,模型仍需一个适合任务的输出层。下面按输出结构整理常见 NLP 任务:

输出结构 常见任务 计算方式与关注点
一个或多个类别 文本分类、意图识别 单标签常用类别 softmax;多标签需要允许多个标签同时成立
每个位置一个标签 词性标注、序列标注式实体识别 token 级预测,必要时处理标签间的合法约束
原文中的片段 抽取式问答、实体跨度抽取 预测起止位置或片段,需保留原文偏移映射
实体间的关系 关系抽取 判断实体对及关系类型,区分共现与实际关系
一个排序 文档检索、重排 学习相关性,考察相关候选出现在哪个位置
一个新序列 翻译、生成式摘要、生成式问答 按条件分布生成,评估语义、依据和完整性

例如命名实体识别可以用 BIO 标签表示一个实体跨度:B 是实体起点,I 是实体内部,O 表示其他位置。真实文本经过子词切分后,一个词可能对应多个 token,训练标签需要明确采用复制、首子词标注或其他对齐策略,评估时则通常要还原到实体跨度。

不能将所有任务都用 token 准确率衡量。一个三字人名只标对两个字,可能有较高逐字准确率,却没有提取出任何完整人名;实体级 precision/recall 要同时检查跨度和类别。

6.2 结构化输出与执行校验

“查询 302 房间示波器的网络故障,先别报修”既包含实体,也包含意图和动作约束。模型可以输出候选结构:

1
2
3
4
5
6
{
"intent": "troubleshoot",
"room": "302",
"device_type": "oscilloscope",
"allow_create_ticket": false
}

程序还要把设备类型映射到唯一设备 ID,处理缺失信息,核对权限,并判断允许执行的操作。Schema 能限制字段类型和枚举值,却不能证明设备真的存在,也不能证明操作符合用户意图。

因此需要区分语法有效、语义有效与执行成功。模型产生合法 JSON、工具接口返回成功、最终问题被解决,是不同的观察结果。这样的分层也能帮助调试:参数提取错误与工具超时不应该归为同一种失败。

6.3 方法演进没有消除这些边界

规则方法把知识写进规则,统计方法从数据估计特征与概率,神经模型进一步学习表示,预训练让表示能够迁移到不同任务。它们可以在一个系统里共存:正则校验编号,关键词检索查错误码,向量检索处理同义改写,生成模型组织答案。

选用哪种方法,取决于输入变化、错误代价、可用数据和资源约束。复杂模型不一定比一个明确的规则更适合精确格式校验。

7. 检索与生成怎样组成一个系统

RAG 先取回资料,再让生成模型基于问题和资料组织回答。离线建库与在线查询使用不同的数据流:

1
2
离线:文档 → 解析 → 分块 → 编码 → 索引与来源元数据
在线:问题 → 编码/关键词查询 → 召回 → 重排 → 上下文 → 回答与引用

每一步都改变下一步能使用的信息。没有解析出来的表格无法被正确分块,没有进入候选集的证据无法由重排补回,被截断的来源也无法支持最后的引用。

7.1 解析、分块、召回与生成

文档解析首先决定信息有没有被读进来。PDF 的两栏错序、表格跨行断裂、图片里的告警代码没被识别,都不是换 embedding 能自动解决的问题。应保存解析前后的抽样对照,并保留文档 ID、页码、标题等来源信息。

分块决定一次召回携带多少上下文。太小可能只召回“按此按钮”,丢失按钮名称与前置条件;太大可能把大量无关段落一起塞进提示,还降低一段文本表示的针对性。重叠窗口可以降低边界断裂,但会引入重复,所以要同时考虑去重与 token 预算。

召回追求把可能相关的候选找进来;重排进一步对问题与候选之间的匹配做判断。它们承担不同职责,增加重排不意味着可以忽略召回遗漏:没有进入候选集的段落,重排器无从补回。

答案构造要保存证据映射:回答引用的段落 ID 必须能追溯到真实文档。模型输出 [3] 只是一个字符串,程序应该检查它是否属于本次提供的来源集合。查到证据与依据证据正确回答仍是两个步骤。

7.2 稀疏与稠密检索的互补

“错误 E1042”与“错误 E1043”在自然语言形式上很相似,但业务意义可能完全不同。向量检索擅长某些语义改写,不保证对每一个数字或型号严格区分。关键词检索则能为这些精确符号提供补充。

一个简单混合策略是分别召回候选,再按排序融合。不要把 BM25 分数和余弦相似度未经校准直接相加,它们的尺度不同。无论使用何种融合办法,都需要在自己的问题集上检查收益,尤其是精确编号问题和语义改写问题这两类。

7.3 分层评估与故障定位

观察 优先检查 可做的对照实验
型号完全匹配却找不到 分块是否切断型号;索引字段是否保留 关键词召回 vs 向量召回
召回相关主题,但没有答案 chunk 是否包含完整步骤和前置条件 按标题/段落分块 vs 固定长度
检索正确,回答仍出错 拼接时是否截断证据;指令与证据是否混淆 固定召回结果,只比较生成阶段
更新资料后答案仍旧 文档版本、索引刷新和缓存失效 新旧文档各准备一条可验证问题

不能仅凭几道展示题选方案。保存一批带“相关段落 ID”和“预期行为”的问题,划分开发与保留测试集。先计算 Recall@k = 前 k 条召回中的相关段落数 / 全部相关段落数,再评估答案依据和端到端成功率。如果每题只有一个标注相关段落,Recall@k 就退化成是否命中的 0/1。

Recall@⁡k=∣TopK⁡∩R∣∣R∣,Precision@⁡k=∣TopK⁡∩R∣k.\operatorname{Recall@}k=\frac{|\operatorname{TopK}\cap R|}{|R|},\qquad \operatorname{Precision@}k=\frac{|\operatorname{TopK}\cap R|}{k}.

这里假设实际返回了 kk 条,且相关集合 RR 非空。如果一题有 2 个相关段落,前 5 条召回只含其中 1 个,Recall@5 是 0.5,Precision@5 是 0.2。只看召回率,往往会倾向增加 kk;但更大的 kk 也会增加上下文长度、噪声和后续处理成本,所以应一起报告质量与成本。

对无答案问题,需要单独考察系统是否能拒绝猜测或请求补充信息,不能为了套用上式而伪造一个“相关段落”。

7.4 上下文预算与信息保留

1
2
输入预算 = 系统消息 + 工具定义 + 历史消息 + 检索材料 + 当前问题
输入预算 + 为输出预留的 token ≤ 模型允许的上下文

实际计算还要考虑聊天模板、特殊 token 和接口定义的计数方式。不能把 len(text) 当 token 数。离线模型应使用对应的 tokenizer 和聊天模板;托管接口以其计数工具、文档以及响应 usage 为准。

应记录 tokenizer 名称和版本、截断策略、原始/保留 token 数。超限时优先移除重复检索结果、无关历史与冗长日志,保留当前任务、关键事实和工具执行状态。仅留下“最新几条消息”可能切断一次工具调用与它的结果。

例如,上下文上限设为 8192 token,预留输出 1024,那么输入最多 7168。若系统消息与工具定义合计 1600、历史 2200、当前问题 200,则留给检索资料的预算最多为 3168。这些都是假设的 token 计数,不是根据汉字数换算出来的值。

工程里还需要检查模型是否另有输出上限,并为模板变化留余量。预算分配应当是显式代码,而不是等模型接口报错后随机删一段文字。

8. 常见追问

词表越大越好吗?

更大的词表可能用较少 token 表示常见文本,但会扩大 embedding 与输出分类空间。还需要看语料覆盖、序列长度、训练统计和推理成本,不能只优化词表大小。

One-hot 与 embedding 查表是什么关系?

One-hot 乘 embedding 矩阵等价于取出对应行。前者方便描述数学关系,后者避免创建高维稀疏向量,是通常的实现方式。查表结果本身尚未融合本次上下文。

Word2Vec、ELMo 与句向量分别表示什么?

标准 Word2Vec 通常给词表内每个词一个固定向量;ELMo 让词在不同上下文中具有不同表示;句向量则把整段文本映射到一个向量,常为检索等任务专门训练。上下文化与面向检索训练是不同的性质。

为什么不同 tokenizer 的困惑度不宜直接比较?

困惑度按预测单元统计。一个模型把一个词编码成一个 token,另一个拆成三个,平均损失的分母和条件预测任务已经不同。还必须统一文本、特殊标记和有效位置等统计口径。

归一化后,余弦相似度、点积和欧氏距离怎样联系?

两个向量均为单位向量时,点积等于余弦相似度,欧氏距离的平方等于 2 减去两倍点积,因此排序可以对应。零向量不能正常归一化;不同模型的坐标空间也不能仅因维度相同而混用。

检索命中了相关主题,为什么仍可能答错?

主题相关不代表包含答案;候选段落可能缺少步骤、条件或时间范围。应依次检查目标证据是否存在、是否被召回、是否进入最终上下文,以及回答是否受到证据支持。

下一篇:Transformer:注意力、网络结构与自回归推理。