茆书复习笔记 01|概念简答索引
关于本系列:这是我复习茆诗松、程依明、濮晓龙《概率论与数理统计教程》(下称“茆书”)时整理的笔记,共 7 篇。
P×××为茆书页码,“指导书”为配套的学习指导与习题解答。本篇用法:简答题常考“叙述××的定义”。下面每个概念给出可以直接写在答卷上的标准表述,再附一句直观理解。
1. 随机现象、样本空间与事件
随机现象(P1)
在一定条件下,并不总是出现相同结果的现象。
直观理解:结果不止一个,事先不知道会出现哪一个。
样本空间(P2)
随机现象一切可能的基本结果组成的集合,记为 \(\Omega=\{\omega\}\),其中元素 \(\omega\) 称为样本点。
随机事件(P2)
随机现象的某些样本点组成的集合,即 \(\Omega\) 的子集,常用 \(A,B,C\) 表示。
- 基本事件:只含一个样本点的事件
- 必然事件:\(\Omega\)
- 不可能事件:\(\varnothing\)
随机变量(P3,P62)
定义在样本空间 \(\Omega\) 上的实值函数 \(X=X(\omega)\)。
直观理解:把“结果”翻译成“数”,从而可以用微积分来研究。
事件域(P9)
设 \(\Omega\) 为样本空间,\(\mathscr F\) 为 \(\Omega\) 的某些子集组成的集合类。若 \(\mathscr F\) 满足:
- \(\Omega\in\mathscr F\);
- 若 \(A\in\mathscr F\),则 \(\bar A\in\mathscr F\)(对逆运算封闭);
- 若 \(A_n\in\mathscr F,\ n=1,2,\dots\),则 \(\bigcup_{n=1}^{\infty}A_n\in\mathscr F\)(对可列并封闭),
则称 \(\mathscr F\) 为一个事件域,又称 \(\sigma\) 代数。\((\Omega,\mathscr F)\) 称为可测空间。
直观理解:事件域就是“允许谈论概率的事件”的清单,这张清单对取补、可列并运算封闭。
结论:若样本空间有 \(n\) 个样本点,则共有 \(2^n\) 个事件(P9),即所有子集的个数。
2. 概率的定义与确定方法
概率的公理化定义(P13)
设 \(\Omega\) 为样本空间,\(\mathscr F\) 为事件域。若对任一事件 \(A\in\mathscr F\),定义在 \(\mathscr F\) 上的实值函数 \(P(A)\) 满足:
- 非负性公理:\(P(A)\ge0\);
- 正则性公理:\(P(\Omega)=1\);
- 可列可加性公理:若 \(A_1,A_2,\dots\) 互不相容,则 \(P\left(\bigcup_{i=1}^{\infty}A_i\right)=\sum_{i=1}^{\infty}P(A_i)\),
则称 \(P(A)\) 为事件 \(A\) 的概率,\((\Omega,\mathscr F,P)\) 为概率空间。
确定概率的四种方法
| 方法 | 页码 | 核心思想 | 适用场景 |
|---|---|---|---|
| 频率方法 | P15 | 大量重复试验中,事件发生的频率 \(f_n(A)=n_A/n\) 稳定于某常数,以此常数作为概率 | 可大量重复的试验 |
| 古典方法 | P17 | 样本点有限且等可能:\(P(A)=\dfrac{A\text{ 所含样本点数}}{\Omega\text{ 中样本点总数}}=\dfrac kn\) | 有限、等可能 |
| 几何方法 | P25 | 样本空间是可度量的几何区域,且等可能:\(P(A)=\dfrac{S_A}{S_\Omega}\)(长度/面积/体积) | 无限、等可能 |
| 主观方法 | P29 | 根据经验和已有信息,对事件发生可能性给出的个人信念 | 无法重复的一次性事件 |
重复组合数的得出(P14)
从 \(n\) 个不同元素中有放回地取 \(r\) 个且不计顺序,不同的取法共有 \(\binom{n+r-1}{r}\) 种。
推导要点
把一次取法记成“\(r\) 个球放进 \(n\) 个盒子”:用 \(n-1\) 块隔板把 \(r\) 个球隔成 \(n\) 段,第 \(i\) 段的球数就是第 \(i\) 个元素被取到的次数。于是问题变成在 \(r+(n-1)\) 个位置中选出 \(r\) 个放球,共 \(\binom{n+r-1}{r}\) 种。
随机模拟法 / 蒙特卡罗法(P27,P231,P236)
用计算机产生随机数来模拟随机试验,以事件出现的频率估计概率,或以样本均值估计积分。理论依据是大数定律。
- 经典例子:蒲丰投针估计 \(\pi\)(P27)
- 求定积分 \(\int_0^1 f(x)\,dx\):取 \(U_i\overset{iid}{\sim}U(0,1)\),用 \(\frac1n\sum f(U_i)\) 估计(P231)
3. 独立性
两事件相互独立(P33)
若 \(P(AB)=P(A)P(B)\),则称 \(A\) 与 \(B\) 相互独立。
多个事件相互独立及举例(P34)
设 \(A_1,\dots,A_n\) 为 \(n\) 个事件,若对任意 \(1\le i<j<k<\dots\le n\),下面 \(2^n-n-1\) 个等式均成立:
则称 \(A_1,\dots,A_n\) 相互独立。
反例:两两独立 \(\not\Rightarrow\) 相互独立(伯恩斯坦四面体)
一个均匀正四面体,三面分别涂红、白、黑,第四面三色都涂。抛一次,记 \(A,B,C\) 分别为底面出现红、白、黑。
则 \(P(A)=P(B)=P(C)=\tfrac12\),\(P(AB)=P(BC)=P(AC)=\tfrac14\),所以两两独立;
但 \(P(ABC)=\tfrac14\ne\tfrac18=P(A)P(B)P(C)\),所以不相互独立。
4. 分布函数与数字特征
分布函数的性质(P64)
\(F(x)=P(X\le x)\) 具有以下三条基本性质:
- 单调性:\(F(x)\) 单调不减;
- 有界性:\(0\le F(x)\le1\),且 \(F(-\infty)=0\),\(F(+\infty)=1\);
- 右连续性:\(F(x+0)=F(x)\)。
反之,满足这三条的函数一定是某个随机变量的分布函数,所以这三条是充要条件。
指数分布随机数的产生(P126)
若 \(U\sim U(0,1)\),则 \(X=-\frac1\lambda\ln(1-U)\sim Exp(\lambda)\)。由于 \(1-U\) 也服从 \(U(0,1)\),也可直接用 \(X=-\frac1\lambda\ln U\)。
依据是 \(F_X(X)\sim U(0,1)\)(见第 2 篇),即“逆变换法”。
k 阶矩(P129)
- \(k\) 阶原点矩:\(\mu_k=E(X^k)\)
- \(k\) 阶中心矩:\(\nu_k=E\big(X-E(X)\big)^k\)
变异系数(P131)
\(C_v(X)=\dfrac{\sqrt{\mathrm{Var}(X)}}{E(X)}\)。它是无量纲的,可以比较量纲不同或均值差异很大的随机变量的波动大小。
分位数(P132 → P276)
对 \(0<p<1\),若 \(x_p\) 满足 \(F(x_p)=\int_{-\infty}^{x_p}p(x)\,dx=p\),则称 \(x_p\) 为该分布的 \(p\) 分位数(下侧分位数)。
中位数(P133)
\(p=0.5\) 时的分位数 \(x_{0.5}\)。与均值相比,中位数不受极端值影响,更稳健。
偏度系数(P134)
\(\beta_s=\dfrac{\nu_3}{\nu_2^{3/2}}\),描述分布的对称性:\(\beta_s>0\) 为右偏(正偏,长尾在右),\(\beta_s<0\) 为左偏,\(\beta_s=0\) 时关于均值对称(的必要条件)。
峰度系数(P135)
\(\beta_k=\dfrac{\nu_4}{\nu_2^2}-3\),以正态分布为基准(正态分布 \(\beta_k=0\))。\(\beta_k>0\) 表示比正态分布更尖峭(尾部更厚),\(\beta_k<0\) 表示更平坦。
5. 多维随机变量
联合分布函数的定义(P140)
\(F(x,y)=P(X\le x,\ Y\le y)\)。
联合分布函数的性质(P140)
- 单调性:分别对 \(x\)、\(y\) 单调不减;
- 有界性:\(0\le F\le1\),\(F(-\infty,y)=F(x,-\infty)=0\),\(F(+\infty,+\infty)=1\);
- 右连续性:分别对 \(x\)、\(y\) 右连续;
- 非负性:对任意 \(a<b\),\(c<d\),有 \(F(b,d)-F(a,d)-F(b,c)+F(a,c)\ge0\)。
反例(P141):\(G(x,y)=\begin{cases}1,&x+y\ge0\\0,&x+y<0\end{cases}\) 满足前三条,但取矩形 \((-1,1]\times(-1,1]\) 时第四条算出 \(1-1-1+0=-1<0\),所以它不是分布函数。二维分布函数必须单独验证非负性。
协方差(P178)
\(\mathrm{Cov}(X,Y)=E\big[(X-E X)(Y-E Y)\big]=E(XY)-E(X)E(Y)\)。
相关系数(P182)
\(\mathrm{Corr}(X,Y)=\dfrac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)}\sqrt{\mathrm{Var}(Y)}}\),它刻画的是 \(X\) 与 \(Y\) 之间线性关系的强弱。
6. 极限理论
依概率收敛(P209)
若对任意 \(\varepsilon>0\),有 \(\lim_{n\to\infty}P(\vert Y_n-Y\vert \ge\varepsilon)=0\),则称 \(Y_n\) 依概率收敛于 \(Y\),记作 \(Y_n\xrightarrow{P}Y\)。
依分布收敛(P211)
若在 \(F(x)\) 的每个连续点上都有 \(\lim_{n\to\infty}F_n(x)=F(x)\),则称 \(F_n\) 弱收敛于 \(F\),相应地称 \(X_n\) 依分布收敛于 \(X\),记作 \(X_n\xrightarrow{L}X\)。
特征函数(P216)
\(\varphi(t)=E(e^{itX})\),\(-\infty<t<\infty\)。它对任何随机变量都存在(因为 \(\vert e^{itX}\vert =1\)),并且与分布一一对应(详见第 4 篇)。
正态随机数的产生(P241)
由中心极限定理,取 12 个独立的 \(U(0,1)\) 随机数 \(U_1,\dots,U_{12}\),则 \(\sum_{i=1}^{12}U_i-6\) 近似服从 \(N(0,1)\)(均值为 \(12\times\frac12=6\),方差为 \(12\times\frac1{12}=1\))。
(补充:精确方法有 Box–Muller 变换 \(Z=\sqrt{-2\ln U_1}\cos(2\pi U_2)\)。)
7. 统计基本概念
总体(P253):研究对象的全体。
样本、样本容量、样品(P254):从总体中抽出的部分个体称为样本;样本中个体的个数 \(n\) 称为样本容量;样本中的个体称为样品。简单随机样本要求独立同分布。
格里纹科定理(P258)
设 \(x_1,\dots,x_n\) 是取自总体分布函数为 \(F(x)\) 的样本,\(F_n(x)\) 为经验分布函数,则
直观理解:样本量足够大时,经验分布函数会一致地贴近真实分布,这是“用样本推断总体”的理论基础。
统计量(P263)
不含任何未知参数的样本函数称为统计量。
次序统计量(P271)
把样本从小到大排序得到 \(x_{(1)}\le x_{(2)}\le\dots\le x_{(n)}\),其中 \(x_{(k)}\) 称为第 \(k\) 个次序统计量。
五数概括(P277)
\(x_{(1)},\ Q_1,\ m_{0.5},\ Q_3,\ x_{(n)}\),即最小值、下四分位数、中位数、上四分位数、最大值。箱线图就是根据五数概括画出来的。
充分统计量(P286)
设 \(x_1,\dots,x_n\) 是来自分布族 \(\{F_\theta\}\) 的样本。若在给定 \(T=t\) 的条件下,样本的条件分布与 \(\theta\) 无关,则称 \(T\) 为 \(\theta\) 的充分统计量。
直观理解:\(T\) 已经把样本中关于 \(\theta\) 的信息全部“打包”带走了,剩下的部分与 \(\theta\) 无关。
8. 参数估计
估计(P302):用样本构造统计量 \(\hat\theta=\hat\theta(x_1,\dots,x_n)\) 来估计未知参数 \(\theta\),称为点估计。
无偏估计(P303):若对任意 \(\theta\in\Theta\) 都有 \(E_\theta(\hat\theta)=\theta\),则称 \(\hat\theta\) 是 \(\theta\) 的无偏估计。
渐近无偏估计(P303):\(\lim_{n\to\infty}E(\hat\theta_n)=\theta\)。例:\(s_n^2=\frac1n\sum(x_i-\bar x)^2\) 是 \(\sigma^2\) 的渐近无偏估计。
可估与不可估(P305):若参数存在无偏估计,则称其可估,否则称不可估。例:对 \(b(1,p)\),\(\frac1p\) 不可估。
有效性(P306):设 \(\hat\theta_1,\hat\theta_2\) 都是 \(\theta\) 的无偏估计,若对一切 \(\theta\) 有 \(\mathrm{Var}(\hat\theta_1)\le\mathrm{Var}(\hat\theta_2)\),且至少有一个 \(\theta\) 使不等号严格成立,则称 \(\hat\theta_1\) 比 \(\hat\theta_2\) 有效。
相合性(P309):若对任意 \(\theta\) 有 \(\hat\theta_n\xrightarrow{P}\theta\),则称 \(\hat\theta_n\) 是 \(\theta\) 的相合估计。相合性是对估计量最基本的要求。
似然函数与最大似然估计(P314)
似然函数 \(L(\theta)=L(\theta;x_1,\dots,x_n)=\prod_{i=1}^n p(x_i;\theta)\)。若统计量 \(\hat\theta\) 满足 \(L(\hat\theta)=\max_{\theta\in\Theta}L(\theta)\),则称 \(\hat\theta\) 为 \(\theta\) 的最大似然估计(MLE)。
直观理解:在所有可能的参数中,挑出“最能解释已观测到的数据”的那一个。
均方误差(P323)
\(\mathrm{MSE}(\hat\theta)=E(\hat\theta-\theta)^2=\mathrm{Var}(\hat\theta)+\big(E\hat\theta-\theta\big)^2\),即方差加偏差的平方。
一致最小方差无偏估计 UMVUE(P324)
设 \(\hat\theta\) 是 \(\theta\) 的无偏估计。若对 \(\theta\) 的任一无偏估计 \(\tilde\theta\),在任意 \(\theta\in\Theta\) 下都有 \(\mathrm{Var}(\hat\theta)\le\mathrm{Var}(\tilde\theta)\),则称 \(\hat\theta\) 为 \(\theta\) 的 UMVUE。
9. 假设检验
假设检验的基本步骤(P357)
- 建立原假设 \(H_0\) 与备择假设 \(H_1\);
- 选择检验统计量,给出拒绝域的形式;
- 选择显著性水平 \(\alpha\);
- 由 \(P(\text{拒绝}H_0\mid H_0\text{为真})\le\alpha\) 确定临界值,得到拒绝域 \(W\);
- 根据样本观测值作出判断(也可以用 p 值判断)。
势函数(P360)
检验的拒绝域为 \(W\),则样本观测值落入拒绝域的概率
称为该检验的势函数。当 \(\theta\in\Theta_0\) 时,\(g(\theta)=\alpha(\theta)\) 是犯第一类错误的概率;当 \(\theta\in\Theta_1\) 时,\(g(\theta)=1-\beta(\theta)\),其中 \(\beta(\theta)\) 是犯第二类错误的概率。
本系列目录
- 01|概念简答索引(本篇)
- 02|常用分布
- 03|多维分布、协方差与条件期望
- 04|特征函数、大数定律与中心极限定理
- 05|抽样分布、次序统计量与充分统计量
- 06|参数估计
- 07|区间估计、假设检验与习题结论
本系列是我复习茆诗松、程依明、濮晓龙《概率论与数理统计教程》时整理的笔记,共 7 篇。文中 P××× 为茆书页码,“指导书”为配套的学习指导与习题解答。如有错漏,欢迎指出。