⌛️本文状态：已完结✔️

翻到一年前自己的日志中记载到“要深入理解好大数定律和中心极限定理，这是数理统计的灵魂。”感觉还挺叼的，翻出来复习一下。果然这段被张宇形容为Paper Tiger~

---

概率论不是研究随机现象的，它是研究随机现象背后的客观规律性，我们找的不是不确定，我们找的是不确定背后的确定性。

——from 张宇

大数定律与中心极限定理

¶一、依概率收敛

¶1.1 概念和理解(记住公式)

设$\lbrace{X_n}\rbrace$为一随机变量序列。目标：X为一随机变量（或a为常数）。

若$\forall\epsilon>0$，恒有
$$
\lim_{n \to\infty}P(|X_n-X|<\epsilon)=1
$$
或
$$
\lim_{n \to\infty}P(|X_n-a|<\epsilon)=1
$$
则称${X_n }$依概率收敛于X(或a)。记$X_n \xrightarrow{P} X$ 。

¶1.2 例题

设$\{ X_n\}$服从$X_n\sim f_n(x)=\dfrac{n}{\pi(1+n^2x^2)},{-\infty}<{x}<{+\infty}$，证明$x_n \xrightarrow{p} 0$

证明：

$$ P(|X_n-0|<{\epsilon})=p(-\epsilon<{x_n}<{\epsilon})\\ =\int_{-\epsilon}^{\epsilon}\frac{n}{\pi(1+n^2x^2)}dx\\="\frac{1}{\pi}\arctan{n\epsilon}|_{-\epsilon}^{\epsilon}\\" =\frac{2}{\pi}\arctan{n\epsilon}\\ \lim_{n \to \infty}p\{|x_n-0|<{\epsilon}\}="\lim_{n" \infty}\frac{2}{\pi}\arctan{n\epsilon}="1\\" 故x_n\xrightarrow{p}{0} $$

¶二、大数定律

大数定律是描述相当多次数重复实验的结果的定律。根据这个定律知道，样本数量越多，则其平均就越趋近期望值。

大数定律很重要，因为它“保证”了一些随机事件的均值的长期稳定性。人们发现，在重复试验中，随着试验次数的增加，事件发生的频率趋于一个稳定值；人们同时也发现，在对物理量的测量实践中，测定值的算术平均也具有稳定性。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然必然中包含着必然。

¶2.1 切比雪夫大数定律

一句话总结 ：样本的均值，收敛到它的期望。

设${X_n}$是相互独立的随机变量序列，若方差$DX_k$存在且一致有上界，则

$$ \frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{P}\frac{1}{n}\sum_{i=1}^{n}EX_i $$

条件 ：相互独立；方差有上界。

箭头左边为样本均值，是一个变量。箭头右边是一个数。$变量\xrightarrow{P}数$。

平均值在大样本的情况下，随机变量的均值依概率收敛到一个客观存在的数。这反映了平均值的稳定性。

¶2.2 伯努利大数定律

一句话总结 ：频率，收敛于概率。

设$u_n$是n重伯努利试验中事件A发生的次数，在每次试验中A发生的概率为p，则 $\dfrac{u_n}{n}\xrightarrow{P}p$。

¶2.3 辛钦大数定律

设${X_n }$是独立同分布（简单随机样本）的随机变量序列，若$E(X_n)=\mu$存在，则
$$
\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{P}\mu
$$
条件 ：同分布；期望存在（有分布不一定有期望）。

其实是切比雪夫大数定律的特殊情况。

¶三、中心极限定理

不论$X_i$独立（independently）同（identically）分布（distributed）于什么分布，只要把他们加起来，n个独立同分布的随机变量，在大样本的情况下，它的和服从正态分布。

$$ 不论X_i\overset{\text{iid}}{\sim}F(\mu,\sigma^2)，\\ \Rightarrow\sum_{i=1}^{n}X_i\overset{n\to\infty}{\sim}N(n\mu,n\sigma^2)\\ \Rightarrow\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\overset{n\to\infty}{\sim}N(0,1)\\ 即 \lim_{n\to\infty}P(\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\leq x)=\Phi(x) $$