Agentic RL:GRPO、OPD 与工具轨迹训练
封面:珠峰营地附近的山峰倒影 · 摄影 Jansen Wong / National Geographic My Shot 第七章把模型接到了检索和工具环境中,参数仍然可以保持不变。本章进一步讨论:保存模型实际走过的轨迹,用结果或教师反馈判断哪些动作值得鼓励,再通过梯度更新模型。环境执行循环和参数更新循环由此连接起来。 本篇对应 Happy-LLM 第八章的固定快照,覆盖 GRPO、OPD、Search-R1 与 ReTool。沿用第四章的策略、概率比和参考模型概念,补清多轮轨迹中的信号来源、token 归属和实现约定。计算器和检查脚本使用人工数据,没有运行远程训练或报告模型效果。 1. 先把一次交互写成训练样本 1.1 状态、动作、观察与奖励 对自回归模型,给定历史 hth_tht,下一个 token 是动作 ata_tat,策略为 πθ(at∣ht)\pi_\theta(a_t\mid h_t)πθ(at∣ht)。若生成了一段工具请求,应用解析并执行它,再把环境观察 ooo 加入后续历史。 内容 来源 在训练中的角色 问题和系统约束 数据集或应用 初...
大模型应用:评测、RAG 与 Agent 的工程闭环
封面:雨后波浪谷的倒影 · 摄影 Nicholas Roemmelt / National Geographic Traveler Photo Contest 模型可以生成答案,但应用还要解决三个问题:答案怎样验收,需要的资料从哪里来,以及模型提出的操作怎样真正执行。评测、RAG 和 Agent 分别处理这些问题,它们最终要在同一个系统里配合。 本篇对应 Happy-LLM 第七章。先确定任务和指标,再构建检索与执行链路,最后用失败样本定位问题。文中的小型案例均为教学构造。 1. 先定义任务成功,再比较模型 1.1 模型能力与系统能力 以“查询设备故障原因,并在需要时创建维修工单”为例,完整任务可能包括识别设备、检索手册、根据证据判断故障、补问缺失信息和调用工单接口。模型回答看起来合理,只覆盖其中一部分。 层次 评测对象 可观察结果 模型 在给定输入下生成什么 答案正确性、格式、指令遵循 检索 能否找到所需证据 相关文档是否进入候选、排序是否靠前 执行 工具是否按预期运行 参数合法性、返回状态、实际状态变化 端到端 用户目标是否完成 成功率、成本、延迟...
大语言模型:规模、训练阶段与工程取舍
封面:安第斯山脉 Llullaillaco 火山上空的星轨 · 摄影 Maria Stenzel / National Geographic Image Collection 第三章解释了模型怎样预测 token。这一章进一步讨论:同样采用下一 token 预测,为什么训练规模、语料和后续训练不同,会得到使用体验差异很大的模型?从一个基础模型到能稳定回答指令、调用工具的模型,中间还需要哪些工作? 本篇对应 Happy-LLM 第四章。先确定训练阶段分别优化什么,再讨论算力、数据与显存如何约束训练,最后回到能力评估和应用选择。 1. 从语言建模到指令模型 1.1 “大”体现在哪些方面 LLM 仍是语言模型:给定上下文,输出词表上的条件概率分布。以自回归模型为例: pθ(x1:T)=∏t=1Tpθ(xt∣x<t).p_\theta(x_{1:T})=\prod_{t=1}^{T}p_\theta(x_t\mid x_{<t}). pθ(x1:T)=t=1∏Tpθ(xt∣x<t). 扩大模型并没有改变这条概率分解。变化主要是参数量、训练 token 数、...
预训练语言模型:训练目标、架构与任务适配
封面:冰岛群山与潮水中的倒影 · 摄影 Ramiro Torrents / National Geographic Your Shot 第二章解释了 Transformer 怎样计算一个位置的表示。使用同样的注意力和前馈层,模型却可以做不同的事:根据左右文补词、根据前缀续写,或读取一段文本后生成另一段文本。差别来自位置之间能否互相读取、训练时要求预测什么,以及最后使用哪一种输出。 本篇对应 Happy-LLM 第三章。先把训练目标与网络架构分开,再看 BERT 怎样学习双向表示、T5 怎样生成目标序列、GPT 怎样续写,最后讨论这些设计如何影响训练数据、显存和任务适配。 1. 预训练在学习什么 1.1 从文本中构造监督信号 第一章已经介绍:模型把 token ID 映射成输入向量,再计算上下文表示,最终通过输出层得到预测分布。预训练要做的,是在大量样本上调整这些共享参数,使预测更准确。 例如,把“请 检查 电源”中的“电源”遮住,原来的“电源”就是标签;把“请 检查”作为前缀,“电源”就是下一个 token 的标签。两种任务都能直接从原文生成训练样本,这就是自监督学习。 对一个...
Transformer:注意力、网络结构与自回归推理
封面:犹他州 Owachomo 天然石桥与银河 · 摄影 Jim Richardson / National Geographic 一段文本经过 tokenizer 和 embedding 查表,得到一个形状为 [B,T,D][B,T,D][B,T,D] 的张量。BBB 是批量大小,TTT 是 token 数,DDD 是每个位置的表示维度。此时每个向量仍来自固定查表;同一个 token 在不同句子里的基础表示相同。 Transformer 的主要工作,是逐层让这些表示结合上下文,再将它们映射为任务需要的输出。理解它既要看单次注意力怎样计算,也要看注意力与其他子层如何组成网络,以及训练、生成时的信息范围如何变化。 本篇对应 Happy-LLM 第二章,以稠密 Transformer 为主,并延伸到自回归推理与缓存。 贯穿全文的数据结构输入是 token ID;embedding 将它变为逐位置向量;注意力混合位置之间的信息;前馈层变换每个位置的特征;堆叠后的表示再通过输出层产生标签或词表分布。 1. 输入表示与位置 1.1 token ID 如何进入网络 令输入 ID 张量为 I...
NLP 基础:文本编码、表示学习与语言模型
封面:冰岛冰川河流入海 · 摄影 Andro Loria / National Geographic Your Shot 同一句“设备无法联网”,可以作为搜索查询、故障类别的输入,也可以成为一段回答的开头。文字没有变,计算机需要完成的运算却不同:有时比较文档,有时预测标签,有时估计接下来可能出现的 token。 这些任务共用一些基础:把文本编码为离散符号,为符号建立数值表示,再利用上下文完成预测。编码保留了什么信息、表示丢掉了什么信息、训练目标奖励什么行为,会一直影响到最终结果。 本篇以 Happy-LLM 第一章 为起点,补充文本编码、表示学习与检索之间的联系。 文本处理中的四个层次字符与 token 决定输入单元;向量表示让符号可以参与计算;语言模型学习上下文中的概率关系;分类、检索和生成把这些能力用于不同输出。 1. 文本进入模型之前:字符、token 与词表 1.1 字符编码与模型编码是两回事 文本文件首先是一串字节。UTF-8 等字符编码规定字节怎样对应 Unicode 字符;tokenizer 则规定这段文本怎样对应模型词表中的 token ID。UTF-8 解码正...
从函数到分布式系统:Composing Programs 第一至第四章总路线图
这四章围绕程序的组织方式逐步展开:怎样组合函数、管理数据和状态、解释代码,以及协调多个任务。 这些内容通过抽象联系起来。函数封装计算步骤,数据接口隔离内部表示,解释器实现语言规则,执行框架负责调度与协作。调用者通过接口使用这些能力,实现细节则由各自的模块负责。 PROGRAMMING ABSTRACTION 从函数组合到多机协作 按章节梳理知识,再沿着变化、状态和契约回看它们的联系。 1. 先看全局:四章分别扩大了哪一层边界 CHAPTER 01 行为抽象 把函数当作值,组合新的计算规则 CHAPTER 02 数据与对象 通过接口使用数据,隔离内部表示的变化 CHAPTER 03 程序与语义 把源码变成数据,再由运行时赋予含义 CHAPTER 04 数据流与系统 把计算推迟、拆分,并交给多个执行单元 各章的重点和用途如下: 章节 主要概念 设计用途 第一章 一等函数、高阶函数与闭包 传递和组合行为,复用...
计算如何同时展开:并发、并行、MapReduce 与共享状态
前三篇逐步解决了数据怎样按需流动、计算目标怎样声明,以及不同机器怎样通过消息可靠协作。最后还剩一个性能问题:当任务之间可以独立推进时,怎样让它们同时执行,并且不破坏结果正确性? 本篇整合教材 4.7 Distributed Data Processing 与 4.8 Parallel Computing,沿着下面的顺序展开: 本篇主线 先保证模型和正确性,再谈扩展速度 01 · MODEL识别等待还是计算区分并发、并行、分布式与 Python 执行模型 02 · SAFETY约束共享可变状态理解 race,再选择 lock、queue 或分区所有权 03 · SCALE拆分、聚合并测量MapReduce、数据倾斜与真实加速比 1. Concurrency、Parallelism 与 Distribution 回答不同问题 这三个词经常被混用,但它们关注的不是同一件事。 概念 核心问题 是否要求同一时刻执行 是否要求多台机器 Concurrency(并发) 多个任务怎样在同一段时间内推进 不要求 不要...
机器之间如何协作:消息、协议与分布式失败
前两篇都可以在单个进程中完成:Iterator 让数据按需流动,声明式系统负责选择执行过程。当数据、服务和计算节点分布在不同机器上时,程序需要面对一个新的事实:机器之间没有共同的函数栈和内存,只能通过网络发送消息。 本篇受教材 4.6 Distributed Computing 启发,但不把重点放在网络历史或拓扑分类,而是回答工程中更直接的问题: 本篇主线 可靠性来自一组相互配合的边界 01 · 边界调用变成消息双方不再共享内存和调用栈 02 · 不确定超时不等于未执行响应丢失会让结果进入未知状态 03 · 恢复Retry + Idempotency允许重传,同时吸收重复业务效果 04 · 解释状态 + Observability让失败可以恢复、关联和定位 1. 远程调用不是“慢一点的函数调用” 本地调用: 1result = execute_task(task) 调用者与函数通常位于同一进程。参数通过内存传递,返回值直接回到当前调用栈;如果函数抛出异常,调用者也能在同一运行时中接住它。 远程调用看起来可...
从“怎样执行”到“满足什么”:SQL、逻辑规则与 Unification
上一篇用 Iterator 和 Generator 把大量数据组织成按需流动的 Pipeline。不过,那条管道仍然由程序员规定了每一个执行步骤:先读取,再过滤,然后转换和聚合。 这一次继续向上抽象:程序只描述结果必须满足什么条件,执行系统自己决定怎样得到结果。 本文把教材 4.3 Declarative Programming、4.4 Logic Programming 和 4.5 Unification 重新组织成一条递进路线: 本篇主线 抽象逐层提高,但执行成本没有消失 01 · 表达从步骤转向结果条件程序不再手写每一次遍历与判断 02 · 关系SQL、Fact 与 Rule用关系描述已有事实和推导规则 03 · 求解Unification + Search建立变量绑定,再寻找成立的证明路径 1. 声明式编程隐藏的是执行过程,不是计算本身 假设任务执行记录保存在 task_runs 表中: task_id service status duration_ms t-17 search faile...










