从函数到分布式系统:Composing Programs 第一至第四章总路线图
这四章围绕程序的组织方式逐步展开:怎样组合函数、管理数据和状态、解释代码,以及协调多个任务。
这些内容通过抽象联系起来。函数封装计算步骤,数据接口隔离内部表示,解释器实现语言规则,执行框架负责调度与协作。调用者通过接口使用这些能力,实现细节则由各自的模块负责。
按章节梳理知识,再沿着变化、状态和契约回看它们的联系。
1. 先看全局:四章分别扩大了哪一层边界
各章的重点和用途如下:
| 章节 | 主要概念 | 设计用途 |
|---|---|---|
| 第一章 | 一等函数、高阶函数与闭包 | 传递和组合行为,复用控制逻辑 |
| 第二章 | 数据契约、对象身份与协议 | 隔离表示变化,管理共享状态 |
| 第三章 | Token、AST、环境与求值规则 | 实现解释器、DSL 与受控执行 |
| 第四章 | 惰性数据流、声明、消息与任务 | 处理大量数据、并发与分布式失败 |
后面的章节会反复用到前面的机制:闭包可以保存状态,用来实现简单对象;解释器用数据结构表示程序;惰性管道通过迭代协议连接各个处理函数;分布式框架把函数交给不同节点执行。
2. 第一章:先学会抽象行为
普通函数把一组操作封装成一个名字;高阶函数更进一步,把“怎样计算”本身也变成输入或输出。于是程序不必反复复制循环、重试、过滤和转换的控制结构,只需要传入真正会变化的那部分行为。
核心关系是:
1 | 函数是一等值 |
闭包在这里是连接第一章和后续章节的关键。它既可以保存参数形成新的函数,也可以保存可变状态产生对象身份;第三章的用户函数同样需要把代码与定义环境一起保存,才能实现词法作用域。
通过 map、filter 和装饰器,理解函数怎样作为参数参与计算,以及多个行为怎样组合。
3. 第二章:从值走向有边界的数据与对象
函数能组织计算,但程序还要长期保存和修改数据。第二章先用构造器与选择器建立抽象屏障,再引入可变状态和对象身份,最后解释 Python 的类系统怎样把这些机制组织成统一的属性访问协议。
理解数据与对象,需要分清四个层次:
- 表示决定数据在内部怎样保存,例如 tuple、dict 或实例字段;
- 接口规定调用者可以做什么,例如构造、查询、更新;
- 不变量规定什么状态始终合法;
- 协议让不同类型可以被同一段高层代码使用。
调用者直接读取内部字段,就会依赖具体表示;字段结构变化时,这些调用代码也要跟着修改。多个地方共同修改同一对象,还会引入别名、调用顺序和并发问题。设计接口时,需要明确哪些操作对外开放、哪些操作可以修改状态,以及修改后应满足哪些约束。
先理解数据契约,再看状态怎样保存、类怎样组织属性,以及不同类型怎样共用接口。
4. 第三章:把程序本身也变成研究对象
前两章默认 Python 已经知道每句代码是什么意思。第三章把这个前提拆开:源码最初只是一串字符,它必须先被解析成结构,再由求值器按照语言规则执行。
源码先经过词法分析和语法分析,成为 AST。之后,求值器与环境协作产生运行时结果:
| 部分 | 在这条路径中的职责 |
|---|---|
| Token → AST | 从字符中识别词法单位,再建立表达式的结构 |
| Validate / IR | 执行前可以增加校验,并按需要转换为中间表示;简单解释器也可以直接解释 AST |
| Eval | 按节点形式处理表达式;遇到名字就查询环境,遇到组合表达式就递归求值 |
| Apply | 在需要调用过程时,接收已经得到的过程与参数,执行内建操作或进入用户函数体 |
| Environment | 保存名字绑定,供求值过程查询;调用用户函数时,新建环境并绑定参数 |
| Value / Error | 计算完成后返回值,或在对应边界报告失败 |
Eval、Apply 和 Environment 是相互配合的机制。例如,Eval 处理调用表达式时会用到 Apply,而 Apply 执行用户函数体时又会回到 Eval。
这条链把“结构”和“含义”分开了。AST 只说明代码写成什么形状;Eval、Apply、作用域和运行时规则才决定它做什么。也正因为中间存在这些边界,工程上才可以在执行前做校验、转换、优化、权限限制和错误定位。
第三章还把第一章的闭包讲得更完整:一个用户函数不只有函数体,还必须保存定义时的环境。调用时创建的新 frame 负责本次参数,closure 指向的环境负责自由变量;这就是词法作用域能够成立的原因。
阅读解释器、规则引擎或模板系统时,可以沿着解析、求值和环境查找这条路径分析实现。
5. 第四章:让计算跨越时间、数据规模与机器
第四章进一步考虑数据量和执行条件:数据可能放不进内存,结果可能晚些才需要,任务也可能交给其他线程、进程或机器。程序需要控制数据的产生速度、安排执行顺序,并处理协作过程中的失败。
四篇笔记分别讨论:
- 按需处理数据:Iterator 与 Generator 让数据按需产生,消费端驱动整条 Pipeline;
- 声明计算目标:SQL、Fact 与 Rule 描述目标,执行器选择扫描、连接或搜索路径;
- 跨机器协作:本地调用变成消息后,需要处理超时、重试、重复和部分失败;
- 拆分与聚合任务:并发组织等待,并行利用多个执行单元,MapReduce 按 key 拆分并重新聚合工作。
这些机制延续了前三章的设计方法。惰性 Pipeline 结合函数组合与迭代协议,声明式系统使用解析与求值机制;跨机器执行则进一步要求明确数据契约、状态更新方式和错误处理责任。
接口之外还要设计时间、容量、失败语义和状态所有权。
6. 三条贯穿四章的主线
变化、状态和契约在四章中反复出现。沿着这三条线索,可以看清不同机制之间的联系。
高阶函数把变化放进函数参数,数据抽象把变化限制在接口实现,解释器把变化放进节点规则,声明式与分布式系统把执行策略交给运行时或框架。
闭包保存局部环境,对象形成持久身份,Environment管理语言中的名字绑定,并发与分布式系统进一步要求锁、队列、事务、分区所有权和幂等更新。
从函数签名到对象协议,再到语言语义和网络 Schema,依赖越来越正式。边界越远、失败成本越高,契约就越需要显式、可验证和可演进。
6.1 主线一:从复用代码到控制变化
函数可以复用一组语句,高阶函数还可以复用循环、过滤等控制结构,把具体行为留给参数决定。类似地,数据抽象允许替换内部表示,对象协议允许接入不同类型,解释器按节点规则处理表达式,声明式系统根据查询选择执行计划。
判断抽象是否有效,可以看一次具体的需求变更:哪些代码需要修改,修改是否集中在负责这项功能的模块中。
6.2 主线二:状态让时间进入程序
纯函数的结果只由输入决定;一旦引入可变状态,同一个调用在不同时刻可能得到不同结果。对象身份、迭代器位置、生成器暂停点、解释器环境、并发队列和分布式任务状态,本质上都在记录“系统已经走到哪里”。
这也解释了为什么后续章节不断强调状态边界:状态越多、拥有者越分散,程序越容易受到调用顺序、别名、竞争条件、重复消息和部分失败的影响。
6.3 主线三:距离越远,契约越重要
同一函数里的局部调用失败,调用栈通常足以定位问题;两个对象之间协作,需要清楚的公开 API;解释器执行用户输入,需要语法校验、资源预算和能力限制;跨机器发送消息,则还要定义版本、超时、重试和幂等语义。
跨进程、跨机器后,双方无法直接共享内存和调用栈,原先隐含的信息需要写进协议,例如参数含义、错误类型和超时后的处理方式。
7. 用一条完整路径把概念接起来
假设系统要持续接收文本请求,解析其中的规则,调用相应操作,并把结果可靠地交付出去。四章知识会自然落在同一条路径上:
在这条路径里:
- 高阶函数让处理步骤可以独立替换和组合;
- 数据抽象与 Protocol 让上层只依赖能力,不绑定某个具体实现;
- AST、Eval 与 Environment 让外部规则先成为可检查的数据,再进入运行时;
- Generator 控制内存与消费速度,并发执行提高资源利用率;
- timeout、retry、idempotency 和 trace 让跨服务调用在失败时仍可恢复、可解释。
这些模块各自承担一部分工作,通过接口协作。例如,更换规则语法主要影响解析层,更换消息传输方式主要影响通信层;处理函数可以继续复用。
8. 容易混淆的概念,放在一起区分
| 容易混淆的概念 | 应该保留的区别 |
|---|---|
| 函数对象与函数调用 | 前者是可传递的行为,后者是一次执行产生的结果 |
| 闭包与对象 | 都能保存状态;闭包通过词法环境保存,对象通过实例身份和属性协议组织 |
| 接口与表示 | 接口描述允许怎样使用,表示决定内部怎样存储 |
| 类型注解与运行时校验 | 注解主要服务静态分析,运行时数据仍需显式验证 |
| AST 与执行结果 | AST 保存程序结构,求值器才根据语义产生结果 |
| Eval 与 Apply | Eval 解释表达式,Apply 调用已经求值得到的过程 |
| 惰性与异步 | 惰性决定何时产生值,异步决定等待期间是否让出执行权 |
| 并发与并行 | 并发关注多个任务推进,并行关注多个任务同时执行 |
| 超时与失败 | 超时只说明没有及时收到结果,远端可能未执行、正在执行或已经完成 |
| Retry 与幂等 | Retry 负责再次尝试,幂等负责让重复尝试不产生重复业务效果 |
9. 最后形成的程序设计判断
设计程序时,可以按以下顺序考虑:
- 先找到会变化的部分,再决定把它放进函数、对象、规则还是执行策略;
- 先定义调用者需要的最小能力,再选择内部数据结构和具体类型;
- 一旦存在可变状态,就明确所有者、合法状态、修改入口和并发边界;
- 面对外部输入,先解析成结构化数据,校验后再赋予执行能力;
- 面对大量或持续数据,优先考虑按需产生、流式转换和背压;
- 面对等待与计算,先区分 I/O-bound 和 CPU-bound,再选择并发或并行模型;
- 一旦跨越进程或机器,就显式设计 schema、deadline、retry、idempotency 与 observability;
- 评估抽象本身的成本,包括额外调用、内存占用、序列化和维护负担。
从第一章到第四章,程序设计的视角完成了一次扩展:
1 | 组合函数 |
复习时可以从一个具体功能出发,依次追踪它调用了哪些函数、修改了哪些状态、经过哪些接口,以及失败后由谁处理,再回到对应文章查看细节。








