File tree Expand file tree Collapse file tree 2 files changed +6
-6
lines changed
Expand file tree Collapse file tree 2 files changed +6
-6
lines changed Original file line number Diff line number Diff line change 11# 导读
22
3- 2024年,当GPT-4在数学竞赛中击败人类选手,当AlphaGo用从未见过的招法战胜世界冠军,我们惊叹于AI的 "智能"。但很少有人追问:** 这些系统真的在"推理"吗?**
3+ 当 GPT-4 在数学竞赛中击败人类选手,当 o3 在 PhD 级别的科学推理测试上超越专家,我们惊叹于 AI 的 "智能"。但很少有人追问:** 这些系统真的在"推理"吗?**
44
55更深层的问题是:** 推理是什么?**
66
2424
2525那么,这本书是为你写的。
2626
27- 我们不会停留在"AI能做什么"的表面,而是深入到"AI为什么能做、为什么不能做"的底层机制。我们会用数学、代码、实验,把抽象的概念变成可以触摸的东西 。
27+ 我们不会停留在"AI能做什么"的表面,而是深入到"AI为什么能做、为什么不能做"的底层机制。上卷用历史叙事和可运行的实验把直觉建立起来;下卷用严格的形式语言把直觉的地基夯实 。
2828
2929---
3030
106106
107107---
108108
109- ** 5. 自注意力的因果拓扑重解释:外积建模与 do 算子的等价性 **
109+ ** 5. 自注意力的因果拓扑重解释:一个思想实验 **
110110
111- Self-Attention 的标准解读是信息检索类比(Query-Key-Value)。但如果从因果建模出发,可以推导出同一个数学结构——而且赋予其更深的语义。
111+ Self-Attention 的标准解读是信息检索类比(Query-Key-Value)。但如果从因果建模出发,可以推导出同一个数学结构——而且赋予其更深的语义。这不是一个已被证明的定理,而是一个正在寻找精确刻画的猜想。
112112
113113设位置 $i$(果)和位置 $j$(因)的投影向量分别为 $q_i = W_Q x_i$(行投影/果建模)和 $k_j = W_K x_j$(列投影/因建模),两者的外积编码了因果假设的完整结构:
114114
@@ -185,15 +185,15 @@ $$A_{ij} = \mathrm{tr}(\mathcal{C}_{ij}) = q_i \cdot k_j$$
185185
186186第21章把学习看作逆推断:给定观测到的定理,反推最简洁的公理集合。泛化是压缩的另一种说法,奥卡姆剃刀是信息论定理,不是哲学建议。
187187
188- 第22章是终点,也是开口:当推理系统足够强大,它开始推理关于自身的命题。Curry-Howard 对应、不动点定理、Transformer 的形式猜想 ——这是目前没有答案的地方,也是值得继续走下去的地方。
188+ 第22章是终点,也是开口:当推理系统足够强大,它开始推理关于自身的命题。Curry-Howard 对应、不动点定理——这是目前没有答案的地方,也是值得继续走下去的地方。
189189
190190---
191191
192192## 这本书的使用方式
193193
194194** 如果你是研究者** :每章的"悬而未决"部分列出了开放问题,五个原创研究项目提供了可以继续深挖的方向。
195195
196- ** 如果你是工程师** :上卷每章的 "自己动手"部分提供了可运行的代码实验 。下卷的论证是你理解为什么某些工程直觉是对的、某些是错的的理论基础。
196+ ** 如果你是工程师** :上卷多数章节有 "自己动手"部分,提供可运行的代码实验 。下卷的论证是你理解为什么某些工程直觉是对的、某些是错的的理论基础。
197197
198198** 如果你是学生** :从第1章开始顺序阅读上卷。读完上卷再进入下卷——上卷给你问题,下卷给你工具。
199199
You can’t perform that action at this time.
0 commit comments