数据如何按需流动:Iterator、Generator 与惰性 Pipeline
前三章分别讨论了怎样组织函数、对象和解释器。第四章把关注点转向数据处理:当数据多到不能一次放进内存,或者数据还在持续产生时,程序应该怎样组织计算? 本篇受教材 4.1 Introduction 与 4.2 Implicit Sequences 启发,但不从斐波那契数列开始,而是贯穿一个更常见的场景:逐条读取任务执行事件,筛选失败记录并统计耗时。 整篇只沿着一条主线展开: 本篇主线 从“数据放不下”走到“计算按需发生” 01 · 问题数据不必同时存在大型文件、分页接口与持续事件流 02 · 协议Iterator 记录遍历位置调用者每次只索取下一个值 03 · 组合Generator 组成惰性管道产生、过滤、转换,直到终止操作消费 1. 问题不只是数据很大,而是数据不必同时存在 假设 events.jsonl 的每一行都是一条 JSON 事件。最直接的写法会先读取全部内容: 123456import jsondef load_events(path: str) -> list[dict]: with op...
运行时如何支持抽象:环境、闭包、作用域与安全执行
前两篇已经让 MiniExpr 能够把源码解析成 AST,并通过 Eval、Apply 和 Primitive 计算组合表达式。不过,语言中的所有操作仍由解释器预先注册:用户可以组合 add 和 mul,却不能给结果命名,也不能定义自己的函数。 本篇只沿着一个核心问题展开:当用户定义并调用一个函数时,运行时究竟需要保存什么,又怎样找到函数体中的名字? 我们会依次走过一条完整路径: 123456Lambda AST → UserProcedure → Define 建立绑定 → Apply 创建调用环境 → Closure 决定名字查找路径 → ExecutionContext 限制执行能力 前半部分解释函数、环境与作用域,后半部分再讨论工程中的权限、预算、隔离和观测。本文受教材 3.5 Interpreters for Languages with Abstraction 启发,但示例和工程边界围绕一个小型 Python 解释器重新组织。 1. 从组合已有操作,到定义新操作 当前语言能够写: 1(add 1 (mul 2 3)) 这属于 means ...
求值器如何赋予语义:Eval、Apply 与错误边界
上一篇把源码解析成了 AST,但 AST 仍然只是“程序长什么样”的结构化描述。本篇继续完成 MiniExpr 的求值器,让下面这段程序真正得到结果: 1(add 1 (mul 2 3)) → 7 我们沿着一条主线展开: AST 节点怎样得到运行时含义; 普通调用怎样通过 Eval 与 Apply 得到结果; if 为什么不能套用普通调用规则; 求值失败后,错误怎样沿同一条调用链返回系统边界。 本篇受教材以下内容启发: 3.3 Exceptions 3.4 Interpreters for Languages with Combination 1. AST 描述结构,Evaluator 赋予含义 上一篇得到的 AST 可以简化为: 123456789Call├── operator: Name("add")└── arguments ├── Number(1) └── Call ├── operator: Name("mul") └── arguments ├── N...
程序如何成为数据:从源码到 Token、AST 与 IR
前两章研究的是怎样用函数和对象组织计算;第三章把程序本身也纳入研究对象。一段源码首先只是一串字符,只有经过解析并按照语言规则解释,它才会产生计算结果。 本篇受教材以下内容启发,但不按教材顺序复述: 3.1 Introduction 3.2 Functional Programming 3.4 Interpreters for Languages with Combination 我们会设计一个很小的表达式语言 MiniExpr,并让它在三篇笔记中逐步成长。第一步只解决一件事:怎样把源码转换成结构明确、可以被程序处理的数据。 1. 源码、程序结构与执行结果属于不同层次 先看一段 MiniExpr 源码: 1(add 1 (mul 2 3)) 它表达的是“先计算 2 × 3,再把结果与 1 相加”。但对于我们正在编写的 Python 程序,这段输入最初只是一个字符串: 1source = "(add 1 (mul 2 3))" 字符串不会自己执行。解释器至少要经历下面几个阶段: flowchart TB A["Source<b...
泛型操作:统一协议、表示选择与效率
类系统解决了单个对象怎样保存状态、查找属性和复用行为,下一步是让不同类型参与同一种操作。如果调用者只依赖共同协议,同一段程序就能处理内部表示完全不同的对象;但抽象接口相同并不意味着表示差异消失,因为表示仍然决定每种操作实际需要多少资源。 本篇对应教材: 2.7 Object Abstraction 2.8 Efficiency 2.9 Recursive Objects 下面围绕三个问题展开:自定义对象怎样接入 Python 已有语法,多种类型怎样参与同一种操作,以及隐藏表示后为什么仍要关心效率。 1. 对象协议:让自定义类型进入 Python 语法 普通方法由业务代码显式调用;special method(特殊方法) 则让解释器或内置操作在特定语法场景中询问对象应该怎样表现。 123456repr(obj) ──> __repr__str(obj) ──> __str__len(obj) ──> __len__obj[i] ──> __getitem__obj(...) ──> __call__obj + rhs ──&...
对象系统:属性查找、方法绑定与类的实现
闭包与 dispatch dictionary 已经能够把状态和行为封装在一起,但每创建一个值都要重新组织消息字典。类系统增加了更系统的共享机制:实例保存各自状态,类保存多个实例共同使用的行为,点表达式负责查找属性,并在需要时把函数绑定到当前实例。 本篇对应教材: 2.5 Object-Oriented Programming 2.6 Implementing Classes and Objects 重点不是复习 class 语法,而是完整解释一次 obj.method(arg) 在概念上怎样运行,以及这些机制如何由更基础的函数和字典实现。 1. 从对象到类:实例保存状态,类共享行为 1.1 对象、实例与类分别是什么 对象可以从三个方面描述: mindmap root((Object)) State 当前保存的信息 Identity 状态改变后仍是同一实体 Behavior 能够响应的操作 Instance(实例) 是某个具体对象。Class(类) 描述一类实例共享的创建方式和行为,并为属性查找提...
可变状态:对象身份与消息传递从何而来
数据抽象隐藏一个值怎样表示;可变数据进一步提出了时间问题:如果这个值会变化,怎样确认变化的是哪一个对象,谁能观察到变化,又由谁管理它的历史? 这正是对象思想出现的位置。对象不只是把若干字段放在一起,而是让一个具有身份的实体保存自己的状态,并通过一组操作管理状态。 本篇对应教材: 2.4 Mutable Data 其中列表、字典的基础 API 从略,约束传播只在结尾说明设计意义。 1. 状态是一个随历史演化的值 不可变抽象通常可以由组成部分完全刻画:有理数由分子、分母的比例决定,一棵不可变树由标签和所有分支决定。只要组成部分相同,就可以在推理时把它们视为相同的值。 可变对象则代表一个随时间演化的实体: flowchart TB T0["同一个对象<br/>t0 · balance = 100"] -->|withdraw 30| T1["同一个对象<br/>t1 · balance = 70"] T1 -->|deposit 20| T2...
数据抽象:让程序依赖契约而不是表示
这一章要解决的问题,不是怎样在 Python 中创建列表或定义类,而是:程序怎样从具体的数据表示出发,建立一个不依赖具体表示的使用层,并最终把状态、行为和多种表示组织成对象系统。 全章可以沿着一条连续路线理解: flowchart TB R["具体表示"] --> A["构造器 · 选择器<br/>行为契约"] A --> S["序列接口<br/>递归数据"] S --> M["可变状态<br/>身份 · 消息"] M --> O["类 · 实例<br/>属性查找 · 方法绑定"] O --> G["对象协议<br/>泛型操作"] G --> E["表示选择<br/>算法效率"] 本篇先完成前两步。对应教材: 2...
高阶函数:从参数化数据到参数化行为
1. 最小前置:函数值、调用与环境 高阶函数并不依赖复杂语法,但依赖三个容易被日常编码习惯掩盖的事实:函数是值,调用会创建局部环境,函数还关联着自己的定义环境。 1.1 函数名与函数调用不是一回事 执行 def 时,Python 创建一个函数对象,再把名字绑定到这个对象: 12345def square(x): return x * xoperation = squareresult = operation(5) # 25 square 表示函数对象,square(5) 才表示调用后的结果。operation = square 没有执行函数,只是让两个名字引用同一个函数对象。 这个区别决定了高阶函数传递的是什么: 传入 square,交付的是一条“之后可以执行”的计算规则; 传入 square(5),交付的只是这次调用得到的数值 25。 函数能够像数字、字符串一样被绑定、传递和返回,就是函数具有一等地位的含义。 1.2 函数参数也只是局部名字 1234567def apply_twice(f, x): return f(f(x))def increment(x)...
Hexo + GitHub 博客搭建教程
创建项目 本博客基于 Hexo + GitHub Pages 构建,Hexo 是一个快速、简洁且高效的静态博客框架,适合用于技术笔记、科研记录与个人博客。 在开始之前,请确保本地已安装: Node.js(建议 LTS 版本) npm Git 在任意工作目录下创建 Hexo 项目: 1234npm install -g hexo-clihexo init blogcd blognpm install 启动本地预览,确认环境正常: 1hexo s 浏览器访问 http://localhost:4000,若能看到默认页面,说明项目创建成功。 克隆 Hexo 主题(以 Butterfly 为例) 本文选用 Butterfly 主题,原因是: 配置灵活,文档完善 原生支持 MathJax / KaTeX 社区活跃,长期维护 在博客根目录执行: 1git clone https://github.com/jerryc127/hexo-theme-butterfly.git themes/Butterfly 然后在博客根目录的 _config.yml 中修改主题配置: 1theme:...














