独立与条件独立独立与条件独立

事件间的条件独立（三个事件之间）条件弱于两个事件间的独立。

条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身， P(XY)=P(X)P(Y)P ( X Y ) = P ( X ) P ( Y ) ，二者独立）；

P(X,Y∣∣C)≠P(X|C)P(Y|C)P ( X , Y | C ) ≠ P ( X | C ) P ( Y | C )

事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定ZZ下， XX与YY是条件独立的当且仅当：

X⊥Y|Z?P(X,Y|Z)=P(X|Z)?P(Y|Z)X ⊥ Y | Z ? P ( X , Y | Z ) = P ( X | Z ) ? P ( Y | Z )
也即XX与YY的依赖关系借由ZZ产生。
例如，定义如下事件：

XX ：明天下雨；
YY ：今天的地面是湿的；
ZZ ：今天是否下雨；

ZZ事件的成立，对XX和YY均有影响，然而，在ZZ事件成立的前提下，今天的地面情况对明天是否下雨没有影响。
1. 相关证明
X⊥Y|Z?p(x,y|z)=h(x,z)?g(y,z)X ⊥ Y | Z ? p ( x , y | z ) = h ( x , z ) ? g ( y , z )
等式两边同时对xx积分（对称地，对yy进行积分）：

???p(y|z)?1h(z)=g(y,z)p(x|z)?1g(z)=h(x,z){ p ( y | z ) ? 1 h ( z ) = g ( y , z ) p ( x | z ) ? 1 g ( z ) = h ( x , z )
两式相乘h(x,z)?g(y,z)=p(y|z)?1h(z)?p(x|z)?1g(z)h ( x , z ) ? g ( y , z ) = p ( y | z ) ? 1 h ( z ) ? p ( x | z ) ? 1 g ( z ) ，又由题设可知， h(x,z)?g(y,z)=p(x,y|z)h ( x , z ) ? g ( y , z ) = p ( x , y | z ) ，因此，

p(x,y|z)=p(y|z)?1h(z)?p(x|z)?1g(z)p ( x , y | z ) = p ( y | z ) ? 1 h ( z ) ? p ( x | z ) ? 1 g ( z )
等式两边同时对x,yx , y进行积分，则可得：

1h(z)1g(z)=11 h ( z ) 1 g ( z ) = 1
因此等式成立。
2. 离散型随机变量独立性的判断
P(A,B)=P(A)?P(B)P ( A , B ) = P ( A ) ? P ( B )
独立性的判断即是判断上述等式是否成立。
两随机变量的联合概率分布以及各个概率分布（marginalized）：

文章图片

文章图片

由此可知， P(i0,d0)=P(i0)?P(d0),…P ( i 0 , d 0 ) = P ( i 0 ) ? P ( d 0 ) , … ，可知事件彼此独立。
3. 条件独立举例 【独立与条件独立】比如两枚硬币，一枚均匀（fair），一枚（biased，0.9 的概率为正，0.1 的概率为反面）。做如下操作，首先随机选择一枚硬币，然后投掷两次（tosses），现定义如下三个随机变量：

CC ：随机选择一枚硬币；
X1X 1 ：第一次投掷的正反面情况；
X2X 2 ：第二次投掷的正反面情况；

考虑现在做第一次投掷， X1X 1 ，如果为正面，则第二次投掷为正面的概率。如果知道选中的是哪一种硬币，显然第二次投掷与第一次投掷彼此是独立的。因此， P?(X1⊥X2∣∣C)P ? ( X 1 ⊥ X 2 | C )
4. 条件独立与马尔科夫性

P(AB|C)=P(A|C)P(B|C)P ( A B | C ) = P ( A | C ) P ( B | C )?
- P(B|AC)=P(B|C)P ( B | A C ) = P ( B | C ) ，条件中有 C，则 B 的出现不受 A 的影响。
- P(A|BC)=P(A|C)P ( A | B C ) = P ( A | C )
C：事件表示现在；A：事件表示过去；B：事件表示未来；
- 这样在条件独立的前提下， P(B|AC)=P(B|C)P ( B | A C ) = P ( B | C )未来发生的概率只有现在有关，而与过去无关；