前言 上一篇中详细阐述了概率论的几个基本定理——概率密度函数、贝叶斯公式及推断、矩以及归一化积。 本篇将在上一篇的基础上,围绕高斯随机过程展开,详细讨论高斯概率密度函数的定义及相关性质。 高斯概率密度函数 首先,我们先来看一下一维情况下的高斯概率密度函数:
其中,μ为均值,
为方差,σ为标准差。 下面我们扩展到多维变量的情况。当随机变量
,多维变量的高斯分布服从
,其概率密度函数可写为:
其中,
是均值,这里为矩阵形式,
是协方差矩阵(对称正定矩阵),其均值与协方差可分别用下式计算:
习惯上,我们将正态分布(高斯分布)记为:
特别的,当随机变量满足下式时,我们称该随机变量服从标准正态分布,其中1代表N×N位矩阵。
行列式 细心的人可能发现,上一节中多维高斯概率密度函数中出现了det这个符号,在线性代数中,它代表矩阵行列式的值。 线性代数教材中以线性方程组的求解问题出发,推导行列式的由来,这里不作赘述,感兴趣的读者可自行参考线性代数教材。
逆矩阵 矩阵求逆的方法有很多种,这里介绍一种利用伴随矩阵与行列式求矩阵逆的通用方法。伴随矩阵
指的是矩阵每个元素的代数余子式所组成的矩阵(代数余子式的概念详见教材)。当矩阵A的行列式
联合高斯概率密度函数的分解与推断 设有一对服从多元正态分布的变量(x,y),它们的联合概率密度函数为:
上一篇中,我们已经推导了联合概率密度函数的表达式为:
即联合概率密度函数能够分解为,待估计状态变量[公式]的后验估计概率密度函数,以及传感器模型概率密度函数的乘积。 特别地,对于高斯分布,我们可以用舒尔补(本篇暂不作赘述,先使用其结论)来推导其分解过程。
这里的[公式]为单位矩阵,下面对等式两边求逆,可得:
这里简单说明一下多个矩阵相乘的逆如何求解。由矩阵的性质可知,
,上述等式为三个矩阵相乘求逆,我们可以利用该性质进行推导: 矩阵
这里将矩阵AB一个矩阵计算,利用上述性质即可得到该结论。 接下来,我们分析联合高斯概率密度函数p(x,y)指数部分的二次项,可以得到:
从上式很容易看出,联合高斯概率密度函数p(x,y)指数部分的二次项分为两部分,根据幂运算中同底数幂相乘,底数不变,指数相加的原则,可以得到:
即该联合高斯概率密度函数可分解为两个不同的高斯概率密度函数相乘的形式(高斯推断),即:
高斯分布的统计独立性与不相关性 一篇中我们提到两个统计独立的随机变量一定是不相关的,而两个不相关的统计变量却不一定是统计独立的。 对于高斯分布而言,这两者是等价的,即统计独立的两个高斯变量也是不相关的。 假设两个高斯变量[公式]是统计独立的,那么我们可以将其联合高斯概率密度函数分解为下式: p(x,y)=p(x)p(y) 又因为高斯分布的联合概率密度函数满足高斯推断:
高斯概率密度函数的归一化积 上一篇中已经详细推导了归一化积的公式,并得到归一化系数η的表达式,本篇来讨论高斯概率密度函数的归一化积。首先,K高斯概率密度函数的归一化积仍然是高斯概率密度函数:
总结 本篇内容基于上一篇的概率论基础,围绕高斯概率密度函数的定义与相关性质展开,详细推导了高斯推断、统计独立与不相关性。下一篇将对高斯分布随机变量的线性变换与非线性变换进行详解,同时,对本篇中用到,但未详解的矩阵技巧——舒尔补进行阐述。
作者简介: 一个被Coding耽误的无人机算法工程师,控制、导航略懂一二,热衷技术,喜欢乒乓、音乐、电影,欢迎交流。 知乎: @遥远的乌托邦 GitHub: https://github.com/DistantUtopia