模式识别|高斯概率密度函数概率论|贝叶斯分类|高斯概率密

高斯概率密度函数 1. 单变量正态分布单变量正态分布概率密度函数定义为：
ρ ( x ) = 1 2 π σ e ? 1 2 ( x ? μ σ ) 2 (1) \rho(x)=\frac{1}{\sqrt{2\pi \sigma}} e^{-\frac{1}{2} (\frac{x- \mu}{\sigma})^2} \tag 1 ρ(x)=2πσ ?1?e?21?(σx?μ?)2(1)
式中 μ \mu μ为随机变量 x x x的期望， σ 2 \sigma^2 σ2为 x x x的方差， σ \sigma σ称为标准差。
μ = E ( x ) = ∫ ? ∞ ∞ x ρ ( x ) d x (2) \mu=E(x)=\int_{-\infty}^{\infty} x\rho(x) dx \tag 2 μ=E(x)=∫?∞∞?xρ(x)dx(2)
σ 2 = ∫ ∞ ∞ ( x ? μ ) 2 ρ ( x ) d x (3) \sigma^2=\int_{\infty}^{\infty} (x-\mu)^2 \rho(x) dx \tag 3 σ2=∫∞∞?(x?μ)2ρ(x)dx(3)
matlab绘制正态分布曲线：

% 绘制单变量正态分布概率密度曲线 x1=-5:0.01:5; # 注意取值的对称性 subplot(2,1,1) y1=normpdf(x1,0,1); plot(x1,y1,'r'); title('\mu=0,\sigma^2=1') xlabel('x') ylabel('\rho(x)') subplot(2,1,2) x2=-5:0.01:7; # 注意取值的对称性 y2=normpdf(x2,1,sqrt(0.2)); plot(x2,y2,'r'); title('\mu=1,\sigma^2=0.2') xlabel('x') ylabel('\rho(x)')

图像：

文章图片

由图中可知，方差越大曲线越宽，曲线始终以 μ \mu μ为中心对称

【模式识别|高斯概率密度函数】正态分布的样本主要都集中在均值附近，其分散程度可以用标准差来表征， σ \sigma σ越大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间 ( μ ? 2 σ , μ + 2 σ ) (\mu-2\sigma,\mu+2\sigma) (μ?2σ,μ+2σ)（或写作 ∣ x ? μ ∣ < 2 σ |x-\mu|<2\sigma ∣x?μ∣<2σ）中。
2. 多元正态分布（1）多元正态分布的概率密度函数的定义为：
ρ ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 2 e ? 1 2 ( x ? μ ) T Σ ? 1 ( x ? μ ) (4) \rho(x)=\frac{1}{(2\pi)^{d/2} |\Sigma|^{\frac{1}{2}}} e^{-\frac{1}{2} (x-\mu)^T \Sigma^{-1} (x-\mu)} \tag 4 ρ(x)=(2π)d/2∣Σ∣21?1?e?21?(x?μ)TΣ?1(x?μ)(4)
式中： x = [ x 1 , x 2 , . . . , x d ] T x=[x_1,x_2,...,x_d]^T x=[x1?,x2?,...,xd?]T是 d d d维列向量； μ = [ μ 1 , μ 2 , . . . , μ d ] T \mu=[\mu_1,\mu_2,...,\mu_d]^T μ=[μ1?,μ2?,...,μd?]T是 d d d维均值向量； Σ \Sigma Σ是 d × d d \times d d×d维协方差矩阵， Σ ? 1 \Sigma^{-1} Σ?1是 Σ \Sigma Σ的逆矩阵， ∣ Σ ∣ |\Sigma| ∣Σ∣是 Σ \Sigma Σ的行列式。
定义 Σ \Sigma Σ为：
Σ = E [ ( x ? μ ) ( x ? μ ) T ] (5) \Sigma=E[(x-\mu)(x-\mu)^T] \tag 5 Σ=E[(x?μ)(x?μ)T](5)
显然， d = 1 d=1 d=1时，多变量高斯和单变量高斯一致。有时用符号 N ( μ , Σ ) N(\mu,\Sigma) N(μ,Σ)表示均值为 μ \mu μ、协方差为 Σ \Sigma Σ的高斯概率密度函数。
为更好地理解什么是多变量高斯，我们考虑在二维空间的一些情况，二维空间是可视的。在这种情况下，有：
Σ = [ σ 1 2 σ 12 σ 12 σ 2 2 ] (6) \Sigma = \left[ \begin{array}{cc} \sigma_1^2 & \sigma_{12} \\ \sigma_{12} & \sigma_2^2 \end{array} \right ] \tag 6 Σ=[σ12?σ12??σ12?σ22??](6)
其中 ( x ? μ ) (x-\mu) (x?μ)为 2 × 1 2 \times 1 2×1的列向量， ( x ? μ ) T (x-\mu)^T (x?μ)T为 1 × 2 1 \times 2 1×2的行向量。对于每个 μ i \mu_i μi?有 E [ x i ] = μ i , i = 1 , 2 E[x_i]=\mu_i,i=1,2 E[xi?]=μi?,i=1,2，通过定义 σ 12 = E [ ( x 1 ? μ 1 ) ( x 2 ? μ 2 ) ] \sigma_{12}=E[(x_1-\mu_1)(x_2-\mu_2)] σ12?=E[(x1??μ1?)(x2??μ2?)]，得到随机变量 x 1 x_1 x1?和 x 2 x_2 x2?的协方差，这个可以度量它们的相互统计相关性。在统计意义下，如果变量是独立的，其协方差为0。显然， Σ \Sigma Σ对角元素是随机向量中各个元素的方差。
3. 二维高斯概率密度函数的示例 代码：

% 绘制双变量正态分布概率密度曲线 x = 1 : 0.3 : 7 ; y = 1 : 0.3 : 7 ; [X,Y] = meshgrid(x,y); U1 = 4.0; DX = 1; % X的方差 dx = sqrt(DX); U2 = 3.8; DY = 1; % Y的方差 dy = sqrt(DY); COV = 0; % X Y的协方差 r = COV / (dx * dy); part1 = 1 / ( 2 * pi * dx * dy * sqrt( 1 - r^ 2 )); p1 = - 1 / ( 2 * ( 1 - r^ 2 )); px = (X - U1).^ 2. / DX; py = (Y - U2).^ 2. / DY; pxy = 2 * r.* (X - U1).* (Y - U2)./ (dx * dy); Z = part1 * exp(p1 * (px - pxy + py)); figure(1) mesh(X,Y,Z) xlabel('x1'); ylabel('x2'); zlabel('\rho(x)'); title('二维概率密度曲线'); figure(2); mesh(X,Y,Z); xlabel('x1'); ylabel('x2'); zlabel('\rho(x)'); title('等值曲线'); view(0,90);

需要自行更改值的变量为Dx，Dy，COV

3.1σ 1 2 = σ 2 2 \sigma_1^2=\sigma_2^2 σ12?=σ22?
二维概率密度函数曲线：

文章图片

等值曲线：

文章图片

此时等值曲线呈现各方向同性的球对称状。
3.2σ 1 2 > > σ 2 2 \sigma_1^2>>\sigma_2^2 σ12?>>σ22?
二维概率密度函数曲线：

文章图片

等值曲线：

文章图片

此时等值曲线呈现向 x 1 x_1 x1?方向延申状。
3.3σ 2 2 > > σ 1 2 \sigma_2^2>>\sigma_1^2 σ22?>>σ12?
二维概率密度函数曲线：

文章图片

等值曲线：

文章图片

此时等值曲线呈现向 x 2 x_2 x2?方向延申状。
3.4σ 12 =? 0 \sigma_{12} \not=0 σ12??=0
二维概率密度函数曲线：

文章图片

等值曲线：

文章图片

由于改变 σ 1 2 \sigma_1^2 σ12?， σ 2 2 \sigma_2^2 σ22?， σ 12 \sigma_{12} σ12?的值就可以得到不同的形状和方向。
等值曲线是不同方向、与短轴长度成不同比例的椭圆。考虑对角线协方差矩阵的随机向量的均值为0，即 μ 1 = 0 , μ 2 = 0 \mu_1=0,\mu_2=0 μ1?=0,μ2?=0，即有如下方程：（计算等值曲线相当于计算指数为常数 C C C的曲线）
x 1 2 σ 1 2 + x 2 2 σ 2 2 = C (7) \frac{x_1^2}{\sigma_1^2}+\frac{x_2^2}{\sigma_2^2} =C \tag 7 σ12?x12??+σ22?x22??=C(7)