Skip to content

Commit f40b17f

Browse files
authored
Update ai-ml 现代概率机器学习初步
1 parent 7dfd5f0 commit f40b17f

File tree

1 file changed

+2
-1
lines changed

1 file changed

+2
-1
lines changed

docs/ai-ml/现代概率机器学习初步.md

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -373,5 +373,6 @@ L_{t-1} = E_q[KL(q(x_{t-1}|x_t,x_0)||p(x_{t-1}|x_t))] (36)
373373
尽管本文对扩散模型的基本概念进行了一些讨论,尝试推导了一些公式,但本文把扩散模型的全貌仍相差不多,有太多的未尽话题值得思考:例如,上文的探讨有意回避了“条件生成”的概念,模型所生成的内容可能是任何一种物体,如何控制模型生成我们想要的内容?(例如,如何用文字控制模型的生成内容,eg. 输入“一条狗追逐一只猫”的文字,要求模型成功应对内容的图像)这种条件生成的概念,正是颇具热度的文生图、文生视频等模型必不可少的基础。又如,上文推导基础原理时,曾将加噪过程中的方差强行固定,那么是否存在数学上的最优解,能够解析地确定最优方差?再如,如上文所述,采样阶段的近一千步迭代将大大降低采样速率,这势必导致应用上的极大不便,如何实现既加速采样,又保证生成质量,这些改进的背后又有着怎样的数学本质?这些问题引出的杰出工作,都曾大放异彩。至于如何将模型背后的数学本质提高到更加高等的领域,如何将这些离散的加噪、去噪过程转换成连续过程,这一问题引出了 Score Matching SDE 及与之等价的 ODE,这些视角甫一提出,便成为理论研究领域不可或缺的出发点。时至今日,扩散模型的理论日趋完备,如何设计神经网络的具体结构,如何提高模型的生成质量,则成为工业界最为关心的话题。限于篇幅,本文仅探讨了扩散模型的“开山之作”,未曾涉及这些精彩纷呈的后续内容。然而管中窥豹,可见一斑,通过对其数学本质的探讨,我们可以看到,当代人工智能并非毫无理论的“黑盒”,其背后的统计机器学习原理之深刻精彩,成为动人心魄。
374374

375375

376+
376377
## 练习作业
377-
https://github.com/sast-summer-training-2024/sast2024-diffusion
378+
https://github.com/sast-summer-training-2024/sast2024-diffusion

0 commit comments

Comments
 (0)