layout | title | categories | tags | keywords | description | order |
---|---|---|---|---|---|---|
post |
随机变量的数字特征 |
0x42_概率论 |
entropy, conditional entropy |
422 |
复合随机变量的期望
(然后,根据$DX=EX^2-(EX)^2$,可以计算$DY$)
对于多元复合函数,一样
$E(X+Y)=EX+EY$ - 如果相互独立,则
$EXY=EXEY$
定理(柯西不等式)
如果$EX,EY,EX^2,EY^2$都存在,那么$[E(XY)]^2\leq EX^2EY^2$
证明:构造$E(\lambda X+Y)^2$,这个值恒为非负。
展开,用二次函数恒为非负的判定公式。
定义:
定义:
(首先要求方差存在)$Cov(X,Y)=E[(X-EX)(Y-EY)]$
$Var(X)=Cov(X,X)$ $Cov(X,Y)=Cov(Y,X)$ $Cov(aX,bY)=abCov(X,Y)$ $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$ $Var(aX+bY)=a^2Var(X)+b^2Var(Y)+2abCov(X,Y)$ $Cov(X,Y)=EXY-EXEY$
定义:
一下四个命题等价
$Cov(X,Y)=0$ - X与Y不相关
$EXY=EXEY$ $Var(X+Y)=Var(X)+Var(Y)$
不相关不一定独立,独立一定不相关,反例:
这两个不相关,但是独立。
但是,对于多维正态分布,不相关一定是独立的。
(再加一条,边缘分布是正态分布,联合分布未必是多维正态分布)
(这里的$\sum$和$\int$是相通的,分别用于离散概率和连续概率,就只写一种)
给定一个样本空间
S,一个完全事件集合
概率测度
给定事件$B\in \varepsilon,Pr(B)>0$,
那么,对于$A \in \varepsilon$,定义 条件概率 为$Pr(A \mid B)=\dfrac{P(A \cap B)}{P(B)}$
这种定义的好处是,$Pr(\star \mid B)$符合概率测度的定义
假设联合pdf是$f(x,y)$
定义:$f_{X\mid Y}(x\mid y)=\dfrac{f(x,y)}{f_Y(y)}$
定理:
(下面就省略下标,例如$f_{X\mid Y}(x\mid y)$简写为$f(x\mid y)$,要知道$f(x),f(y),f(x\mid y)$是不同的函数,别弄混了)
联合期望 定义为:
条件期望 定义为:
记为$E(X\mid Y=y)$
注意:
又记$E(X\mid Y)$ 是Y的函数,它本身是一个随机变量。
全期望定理(law of total expactation)
也就是说,
方差 定义为:
定理:
条件方差 定义为:
(上面的式子,右边代入定义,得到一个定理)
记$Var(X\mid Y)$是Y的函数,它本身是一个随机变量。得到一个定理
定理:$Var[X]=E[Var[X \mid Y]]+Var[E[X\mid Y]]$
证明过程,推荐在纸上推导一下细节。
- 第一项。$Var[X\mid Y]=E[X^2\mid Y]-(E[X\mid Y])^2$,然后用全期望定理
- 第二项。也是把方差转换为期望表示,然后用全期望定理
- k阶原点距
$EX^k$ - k阶中心距
$E(X-EX)^k$
- 中位数$F(x)=0.5$的解
- 下分位数$F(x)=a$的解
- 上分位数$F(x)=1-a$的解
众数就不多说了。
$$x=\left ( \begin{array}{ccc} x_1\x_2\x_3\...\x_k \end{array} \right ),
y=\left ( \begin{array}{ccc} y_1\y_2\y_3\...\y_k \end{array} \right )$$是随机变量矩阵
a,b是常数,
$$c=\left ( \begin{array}{ccc} c_1\c_2\c_3\...\c_k \end{array} \right ),
d=\left ( \begin{array}{ccc} d_1\d_2\d_3\...\d_k \end{array} \right )$$是常数向量
那么有这些结论:
$$Ex=\left ( \begin{array}{ccc} Ex_1\Ex_2\Ex_3\...\Ex_k \end{array} \right )$$
定义:$cov(x,y)=(cov(x_i,y_j))_ {p\times p}$
(所以$D(c^Tx)=c^T D(x) c$)
由上面两个式子,