@@ -17,21 +17,14 @@ kernelspec:
1717
1818本讲座说明了** 概率分布** 的两种不同解释
1919
20- * 频率主义解释:预期在大规模独立同分布样本中出现的 ** 相对频率**
20+ * 频率主义解释:在大型独立同分布样本中,概率表示预期出现的 ** 相对频率**
2121
22- * 贝叶斯解释:在观察一系列数据后对参数或参数列表的 ** 个人观点**
22+ * 贝叶斯解释:概率是在观察一系列数据后对参数或参数列表的 ** 个人观点**
2323
24- 我们建议观看这个关于频率主义方法中 ** 假设检验** 的视频
24+ 我们建议阅读 [ 这篇 ] ( https://zhuanlan.zhihu.com/p/660303792 ) 关于频率主义方法 ** 假设检验** 的文章,以及 [ 这篇 ] ( https://zhuanlan.zhihu.com/p/28202544 ) 关于贝叶斯方法构建 ** 覆盖区间 ** 的文章。
2525
26- ``` {youtube} 8JIe_cz6qGA
27- ```
28-
29- 观看完该视频后,请观看以下关于贝叶斯方法构建** 覆盖区间** 的视频
30-
31- ``` {youtube} Pahyv9i_X2k
32- ```
3326
34- 在您熟悉这些视频中的内容后,本讲座将使用苏格拉底方法来帮助巩固您对以下两种方法所回答的不同问题的理解 :
27+ 在您熟悉这些文章中的内容后,本讲座将使用苏格拉底提问法来帮助巩固您对以下两种方法所回答的不同问题的理解 :
3528
3629* 频率主义置信区间
3730
@@ -61,6 +54,10 @@ import prettytable as pt
6154import matplotlib.pyplot as plt
6255from scipy.stats import binom
6356import scipy.stats as st
57+ import matplotlib as mpl
58+ FONTPATH = "fonts/SourceHanSerifSC-SemiBold.otf"
59+ mpl.font_manager.fontManager.addfont(FONTPATH)
60+ plt.rcParams['font.family'] = ['Source Han Serif SC']
6461```
6562
6663有了这些Python工具,我们现在来探索上述两种含义。
7673\left(\frac{n!}{k! (n-k)!} \right) \theta^k (1-\theta)^{n-k}
7774$$
7875
79- 其中固定参数 $\theta \in (0,1)$。
76+ 其中 $\theta \in (0,1)$ 是一个固定参数 。
8077
81- 这被称为 __ 二项分布 __ 。
78+ 这被称为 * 二项分布 * 。
8279
8380这里
8481
9693
9794* 我们用它来描述从参数为 $\theta$ 的** 伯努利** 分布中进行 $n$ 次独立抽样,从而得到一个参数为 $\theta,n$ 的** 二项** 分布的一次抽样。
9895
99- * 我们再次使用它来描述我们进行 $I$ 次这样的 $n$ 次投币序列 。
96+ * 我们再次使用它来描述我们进行 $I$ 次这样的 $n$ 次硬币投掷序列 。
10097
10198令 $y_h^i \in \{ 0, 1\} $ 表示第 $i$ 次序列中第 $h$ 次投掷的 $Y$ 的实际值。
10299
103- 令 $\sum_ {h=1}^n y_h^i$ 表示第 $i$ 次 $n$ 次独立投币序列中出现正面的总次数 。
100+ 令 $\sum_ {h=1}^n y_h^i$ 表示第 $i$ 次序列的 $n$ 次独立硬币投掷中出现正面的总次数 。
104101
105102令 $f_k$ 记录长度为 $n$ 的样本中满足 $\sum_ {h=1}^n y_h^i = k$ 的比例:
106103
1231202. 请使用你的代码计算 $f_k^I, k = 0, \ldots , n$ 并将其与不同 $\theta, n$ 和 $I$ 值下的
124121 $\textrm{Prob}(X = k | \theta)$ 进行比较
125122
126- 3. 结合大数定律,用你的代码说明一些现象
123+ 3. 结合大数定律,运行你的代码并说明观察到的结论
127124```
128125
129126``` {solution-start} pm_ex1
@@ -308,41 +305,40 @@ plt.legend()
308305plt.show()
309306```
310307
311- 从上面的图表中,我们可以看到** $I$,即独立序列的数量, ** 起着重要作用。
308+ 从上面的图表中,我们可以看到 $I$,即 ** 独立序列的数量 ** , 起着重要作用。
312309
313- 当 $I$变大时,理论概率和频率估计之间的差异变小 。
310+ 随着 $I$ 变大,理论概率和频率估计之间的差距变小 。
314311
315- 而且,只要$I$足够大,改变$\theta$或 $n$都不会实质性地改变观察到的分数作为$\theta$的近似值的准确性。
312+ 而且,只要 $I$ 足够大,改变 $\theta$ 或 $n$ 都不会实质性地改变观察到的分数作为 $\theta$ 的近似值的准确性。
316313
317- 这里体现了大数定律 。
314+ 这正是大数定律在起作用 。
318315
319- 对于每个独立序列的抽取,$\textrm{Prob}(X_i = k | \theta)$都是相同的,所以所有抽取的聚合形成了一个二元随机变量$\rho_ {k,i},i=1,2,...I$的独立同分布序列,其均值为$\textrm{Prob}(X = k | \theta)$,方差为
316+ 对于每个独立序列的抽取,$\textrm{Prob}(X_i = k | \theta)$ 都是相同的,所以所有抽取的聚合形成了一个二元随机变量 $\rho_ {k,i},i=1,2,...I$ 的独立同分布序列,其均值为$\textrm{Prob}(X = k | \theta)$,方差为
320317
321318$$
322319n \cdot \textrm{Prob}(X = k | \theta) \cdot (1-\textrm{Prob}(X = k | \theta)).
323320$$
324321
325- 因此,根据大数定律,$ P_ {k,i}$的平均值收敛于:
322+ 因此,根据大数定律,当$I$趋向于无穷时,$ P_ {k,i}$ 的平均值收敛于:
326323
327324$$
328325E[\rho_{k,i}] = \textrm{Prob}(X = k | \theta) = \left(\frac{n!}{k! (n-k)!} \right) \theta^k (1-\theta)^{n-k}
329326$$
330327
331- 当$I$趋向于无穷时。
332328
333329## 贝叶斯解释
334330
335- 我们再次使用二项分布 。
331+ 我们仍然使用二项分布 。
336332
337- 但现在我们不把$\theta$看作是一个固定的数。
333+ 但现在我们不把 $\theta$ 看作是一个固定的数。
338334
339335相反,我们把它看作是一个** 随机变量** 。
340336
341- $\theta$由一个概率分布来描述。
337+ $\theta$ 由一个概率分布来描述。
342338
343339但现在这个概率分布的含义与我们在大规模独立同分布样本中能预期出现的相对频率不同。
344340
345- 相反,$\theta$的概率分布现在是我们对$\theta$可能值的看法的总结,这些看法要么是
341+ 相反,$\theta$ 的概率分布现在是我们对 $\theta$ 可能值的看法的总结,这些看法要么是
346342
347343* 在我们** 完全没有看到** 任何数据之前,或者
348344* 在我们已经看到** 一些** 数据之后,但在看到** 更多** 数据之前
353349P(\theta) = \frac{\theta^{\alpha-1}(1-\theta)^{\beta -1}}{B(\alpha, \beta)}
354350$$
355351
356- 其中$B(\alpha, \beta)$是一个** 贝塔函数** ,所以$P(\theta)$是一个带参数$\alpha, \beta$的** 贝塔分布** 。
352+ 其中 $B(\alpha, \beta)$ 是一个** 贝塔函数** ,所以 $P(\theta)$ 是一个带参数 $\alpha, \beta$ 的** 贝塔分布** 。
357353
358354``` {exercise}
359355:label: pm_ex2
360356
361- **a)** 请写出从参数为$\theta$的二项分布中抽取长度为$n$的样本的**似然函数**。
357+ **a)** 请写出从参数为 $\theta$ 的二项分布中抽取长度为 $n$ 的样本的**似然函数**。
362358
363- **b)** 请写出观察到一次硬币翻转后$\theta$的**后验**分布。
359+ **b)** 请写出观察到一次硬币翻转后 $\theta$ 的**后验**分布。
364360
365- **c)** 现在假设$\theta$的真实值为$.4$,而某个不知道这一点的人有一个参数为$\beta = \alpha = .5$的贝塔先验分布。请编写一个Python类来模拟这个人对于一个长度为$n$的_单个_序列的 $\theta$的个人后验分布。
361+ **c)** 现在假设 $\theta$ 的真实值为 $.4$,而某个不知道这一点的人有一个参数为 $\beta = \alpha = .5$ 的贝塔先验分布。请编写一个Python类来模拟这个人对于一个长度为 $n$ 的*单个*序列的 $\theta$ 的个人后验分布。
366362
367- **d)** 请绘制当$n$增长为$1, 2, \ldots$时,$\theta$的后验分布关于$\theta$的函数图。
363+ **d)** 请绘制当 $n$ 增长为 $1, 2, \ldots$ 时,$\theta$ 的后验分布关于 $\theta$ 的函数图。
368364
369- **e)** 对于不同的$n$值,请描述并计算区间$[.45, .55]$的贝叶斯覆盖区间。
365+ **e)** 对于不同的 $n$ 值,请描述并计算区间 $[.45, .55]$ 的贝叶斯覆盖区间。
370366
371367**f)** 请说明贝叶斯覆盖区间回答了什么问题。
372368
373- **g)** 请计算对于不同的样本大小$n$,后验概率$P(\theta \in [.45, .55])$的值。
369+ **g)** 请计算对于不同的样本大小$n$,后验概率 $P(\theta \in [.45, .55])$ 的值。
374370
375371**h)** 请使用您的Python类来研究当 $n \rightarrow + \infty$ 时后验分布会发生什么变化,同样假设 $\theta$ 的真实值为 $.4$,尽管对于通过贝叶斯定律进行更新的人来说这是未知的。
376372```
379375:class: dropdown
380376```
381377
382- ** a)** 请写出观察到一次硬币翻转后 $\theta$ 的 ** 似然函数** 和 ** 后验 ** 分布 。
378+ ** a)** 请写出从参数为 $\theta$ 的二项分布中抽取长度为 $n$ 的样本的 ** 似然函数** 。
383379
384- 假设结果为 __ Y __ 。
380+ 假设结果为 $Y$ 。
385381
386382似然函数为:
387383
400396
401397我们可以通过以下方式推导 $\theta$ 的后验分布:
402398
403- \begin{align* }
399+ $$
400+ \begin{aligned}
404401 \textrm{Prob}(\theta | Y) &= \frac{\textrm{Prob}(Y | \theta) \textrm{Prob}(\theta)}{\textrm{Prob}(Y)} \\
405402 &=\frac{\textrm{Prob}(Y | \theta) \textrm{Prob}(\theta)}{\int_{0}^{1} \textrm{Prob}(Y | \theta) \textrm{Prob}(\theta) d \theta }\\
406403 &= \frac{\theta^Y (1-\theta)^{1-Y}\frac{\theta^{\alpha - 1} (1 - \theta)^{\beta - 1}}{B(\alpha, \beta)}}{\int_{0}^{1}\theta^Y (1-\theta)^{1-Y}\frac{\theta^{\alpha - 1} (1 - \theta)^{\beta - 1}}{B(\alpha, \beta)} d \theta } \\
407404 &= \frac{ \theta^{Y+\alpha - 1} (1 - \theta)^{1-Y+\beta - 1}}{\int_{0}^{1}\theta^{Y+\alpha - 1} (1 - \theta)^{1-Y+\beta - 1} d \theta}
408- \end{align* }
405+ \end{aligned}
406+ $$
409407
410408这意味着
411409
415413
416414现在假设 $\theta$ 的真实值为 $.4$,并且有一个不知道这一点的人,他有一个 $\beta = \alpha = .5$ 的beta先验分布。
417415
418- ** c)** 现在假设 $\theta$ 的真实值为 $.4$,并且有一个不知道这一点的人,他有一个参数为 $\beta = \alpha = .5$ 的beta先验分布。请编写一个Python类来模拟这个人对于_单个_长度为 $n$ 的序列的 $\theta$ 的个人后验分布。
416+ ** c)** 现在假设 $\theta$ 的真实值为 $.4$,而某个不知道这一点的人有一个参数为 $\beta = \alpha = .5$ 的贝塔先验分布。请编写一个Python类来模拟这个人对于一个长度为 $n$ 的 * 单个 * 序列的 $\theta$ 的个人后验分布。
419417
420418``` {code-cell} ipython3
421419class Bayesian:
@@ -479,7 +477,8 @@ class Bayesian:
479477 self.posterior_list.append(self.form_single_posterior(num))
480478```
481479
482- ** d)** 请绘制$\theta$的后验分布随着$n$从$1, 2, \ldots$增长时的函数图。
480+
481+ ** d)** 请绘制当 $n$ 增长为 $1, 2, \ldots$ 时,$\theta$ 的后验分布关于 $\theta$ 的函数图。
483482
484483``` {code-cell} ipython3
485484Bay_stat = Bayesian()
@@ -506,7 +505,8 @@ ax.legend(fontsize=11)
506505plt.show()
507506```
508507
509- ** e)** 对于不同的 $n$ 值,请描述并计算后验概率的 $.05$ 和 $.95$ 分位数。
508+
509+ ** e)** 对于不同的 $n$ 值,请描述并计算区间 $[ .45, .55] $ 的贝叶斯覆盖区间。
510510
511511``` {code-cell} ipython3
512512upper_bound = [ii.ppf(0.05) for ii in Bay_stat.posterior_list[:14]]
@@ -522,19 +522,21 @@ interval_df
522522
523523随着$n$的增加,我们可以看到贝叶斯覆盖区间变窄并趋向于$0.4$。
524524
525+
525526** f)** 请说明贝叶斯覆盖区间回答了什么问题。
526527
527- 贝叶斯覆盖区间表示后验分布的累积概率分布(CDF)中[ $ p_1$, $ p_2$ ] 分位数对应的$\theta$的范围。
528+ 贝叶斯覆盖区间表示后验分布的累积概率分布(CDF)中 $ [ p_1, p_2] $ 分位数对应的$\theta$的范围。
528529
529530要构建覆盖区间,我们首先计算未知参数$\theta$的后验分布。
530531
531- 如果CDF为$F(\theta)$,那么区间$[ p_1,p_2] $的贝叶斯覆盖区间$[ a,b] $由以下等式描述:
532+ 如果CDF为$F(\theta)$,那么区间 $[ p_1,p_2] $ 的贝叶斯覆盖区间 $[ a,b] $ 由以下等式描述:
532533
533534$$
534535F(a)=p_1,F(b)=p_2
535536$$
536537
537- ** g)** 请计算不同样本量$n$下$\theta \in [ .45, .55] $的后验概率。
538+
539+ ** g)** 请计算对于不同的样本大小$n$,后验概率 $P(\theta \in [ .45, .55] )$ 的值。
538540
539541``` {code-cell} ipython3
540542left_value, right_value = 0.45, 0.55
@@ -556,7 +558,7 @@ plt.show()
556558
557559这里有两种相互对立的力量在起作用。
558560
559- 第一种力量是,个体在观察到新的结果时会调整他的信念,使他的后验概率分布变得越来越符合实际 ,这解释了后验概率的上升。
561+ 第一种力量是,个体在观察到新的结果时会调整他的信念,使他的后验概率分布变得越来越符合真实值 ,这解释了后验概率的上升。
560562
561563然而,$[ .45, .55] $ 实际上排除了生成数据的真实 $\theta =.4$。
562564
@@ -568,7 +570,7 @@ plt.show()
568570
569571这就是为什么当观测数量超过500时,我们看到一条几乎水平的线。
570572
571- ** h)** 请使用你的Python类来研究当 $n \rightarrow + \infty$ 时后验分布会发生什么 ,同样假设 $\theta = .4$ 是真实值,尽管对于通过贝叶斯法则进行更新的人来说这是未知的 。
573+ ** h)** 请使用您的Python类来研究当 $n \rightarrow + \infty$ 时后验分布会发生什么变化 ,同样假设 $\theta$ 的真实值为 $ .4$,尽管对于通过贝叶斯定律进行更新的人来说这是未知的 。
572574
573575使用我们上面创建的Python类,我们可以看到后验分布随着 $n$ 趋向于无穷大时的演变。
574576
@@ -578,17 +580,17 @@ fig, ax = plt.subplots(figsize=(10, 6))
578580for ii, num in enumerate(num_list[14:]):
579581 ii += 14
580582 ax.plot(θ_values, Bay_stat.posterior_list[ii].pdf(θ_values),
581- label='Posterior with n= %d thousand ' % (num/ 1000))
583+ label='后验分布(样本量 = %d 千) ' % (num / 1000))
582584
583- ax.set_title('P.D.F of Posterior Distributions ', fontsize=15)
585+ ax.set_title('后验分布的概率密度函数 ', fontsize=15)
584586ax.set_xlabel(r"$\theta$", fontsize=15)
585587ax.set_xlim(0.3, 0.5)
586588
587589ax.legend(fontsize=11)
588590plt.show()
589591```
590592
591- 随着 $n$ 的增加,我们可以看到概率密度函数在 $0.4$(即 $\theta$ 的真实值)处_集中 _ 。
593+ 随着 $n$ 的增加,我们可以看到概率密度函数在 $0.4$(即 $\theta$ 的真实值)处 * 集中 * 。
592594
593595这里后验均值收敛于 $0.4$,而后验标准差从上方收敛于 $0$。
594596
@@ -622,7 +624,7 @@ plt.show()
622624
623625答案就在贝叶斯更新公式中。
624626
625- 将单步贝叶斯更新自然延伸到 n 步贝叶斯更新是很合理的。
627+ 将单步贝叶斯更新自然延伸到 $n$ 步贝叶斯更新是很合理的。
626628
627629$$
628630\textrm{Prob}(\theta|k) = \frac{\textrm{Prob}(\theta,k)}{\textrm{Prob}(k)}=\frac{\textrm{Prob}(k|\theta)*\textrm{Prob}(\theta)}{\textrm{Prob}(k)}=\frac{\textrm{Prob}(k|\theta)*\textrm{Prob}(\theta)}{\int_0^1 \textrm{Prob}(k|\theta)*\textrm{Prob}(\theta) d\theta}
@@ -677,32 +679,32 @@ plt.show()
677679
678680在观察了大量结果后,后验分布收敛在$0.4$周围。
679681
680- 因此,贝叶斯统计学家认为$\theta$接近 $.4$。
682+ 因此,贝叶斯统计学家认为 $\theta$ 接近 $.4$。
681683
682- 如上图所示,随着观测数量的增加,贝叶斯置信区间 (BCIs)在$0.4$周围变得越来越窄。
684+ 如上图所示,随着观测数量的增加,贝叶斯覆盖区间 (BCIs)在 $0.4$ 周围变得越来越窄。
683685
684686然而,如果仔细观察,你会发现BCIs的中心并不完全是$0.4$,这是由于先验分布的持续影响和模拟路径的随机性造成的。
685687
686688## 共轭先验的作用
687689
688- 我们做出了一些假设,将似然函数和先验的函数形式联系起来,这大大简化了我们的计算。
690+ 在上述分析中, 我们做出了一些假设,将似然函数和先验的函数形式联系起来,这大大简化了我们的计算。
689691
690692特别是,我们假设似然函数是** 二项分布** ,而先验分布是** beta分布** ,这导致贝叶斯定律推导出的后验分布也是** beta分布** 。
691693
692694所以后验和先验都是beta分布,只是它们的参数不同。
693695
694696当似然函数和先验像手和手套一样完美匹配时,我们可以说先验和后验是** 共轭分布** 。
695697
696- 在这种情况下,我们有时也说我们有似然函数$\textrm{Prob}(X | \theta)$的** 共轭先验** 。
698+ 在这种情况下,我们有时也说我们有似然函数 $\textrm{Prob}(X | \theta)$ 的** 共轭先验** 。
697699
698700通常,似然函数的函数形式决定了** 共轭先验** 的函数形式。
699701
700702
701- 一个自然的问题是,为什么一个人对参数$\theta$的个人先验必须局限于共轭先验的形式?
703+ 一个自然的问题是,为什么一个人对参数 $\theta$ 的个人先验必须局限于共轭先验的形式?
702704
703705为什么不能是其他更真实地描述个人信念的函数形式?
704706
705- 从争辩的角度来说,人们可以问,为什么似然函数的形式应该对我关于$\theta$的个人信念有* 任何* 影响?
707+ 从争辩的角度来说,人们可以问,为什么似然函数的形式应该对我关于 $\theta$ 的个人信念有* 任何* 影响?
706708
707709对这个问题的一个得体回答是,确实不应该有影响,但如果你想要轻松地计算后验分布,使用与似然函数共轭的先验会让你更愉快。
708710
0 commit comments