两个高斯分布相加（卷积）的理论推导

时间  2021-01-21 标签 概率机器人 概率论 卷积 线性代数

本文主要推导两个高斯分布的相加结果。在知乎上有个问题：正态分布随机变量的和还是正态分布吗？ _ 也是本文主要解决的问题。

高斯分布的概率密度函数：
f ( x ) = 1 2 π δ e − ( x − u ) 2 2 δ 2 (1) f(x) = \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}} \tag{1}

直觉中，两个高斯（正态）随机变量的和似乎应该是两个概率密度函数的和，如下图所示，其结果就近似为两个概率密度的包络线，这明显是错误的，是用直觉推导数学，大错特错。
在这里插入图片描述
在解决此问题前，我们需要搞清楚两个高斯函数的和的物理意义，这里用经典的投骰子作为为例子更好理解。

  • 离散卷积：投骰子 - 同时投求两个骰子所的点数相加得4的概率是多少？
    则其结果为
    p 1 ( 1 ) p 2 ( 3 ) + p 1 ( 2 ) p 2 ( 2 ) + p 1 ( 3 ) p 2 ( 1 ) = 1 12 (2) p_1(1)p_2(3)+p_1(2)p_2(2)+p_1(3)p_2(1)=\frac{1}{12}\tag{2}

注意这里的概率为 P ( X + Y = 4 ) P(X+Y=4) ，因此卷积的物理意义不是连个概率密度相加，而是自变量相加后发生的概率，即若设 z = x + y z=x+y ，则有 z z 发生的概率为：
f ( z ) = ∫ − ∞ + ∞ f ( x ) f ( z − x ) d x (3) f(z)=\int^{ +\infty }_{ - \infty }f(x)f(z-x)dx\tag{3}

当理解到这里时，我们就可以很容易的计算两个高斯分布的加和了。

两个高斯分布相加本质问题可抽象为：已知两个独立高斯分布 N 1 ∼ ( u 1 , δ 1 2 ) N_1∼(u_1, \delta_1^2) , N 2 ∼ ( u 2 , δ 2 2 ) N_2∼(u_2, \delta_2^2) ，求新的概率分布 N = N 1 + N 2 ∼ ( ? , ? ) N =N_1+N_2∼(?,?)

设 N 1 N_1 的概率分布函数为 f 1 ( x ) f_1(x) ， N 2 N_2 的概率分布函数为 f 2 ( y ) f_2(y) , 则此问题变为求 f ( z = x + y ) f(z=x+y) 的概率密度函数？
f ( z ) = ∫ − ∞ + ∞ f 1 ( x ) f 2 ( z − x ) d x = ∫ − ∞ + ∞ 1 2 π δ 1 e − ( x − u 1 ) 2 2 δ 1 2 ⋅ 1 2 π δ 2 e − ( z − x − u 2 ) 2 2 δ 2 2 d x (4) \begin{aligned} f(z)&=\int^{ +\infty }_{ - \infty }f_1(x)f_2(z-x)dx\\\\ &=\int^{ +\infty }_{ - \infty }\frac{1}{\sqrt{2\pi}\delta_1}{e^{-\frac{(x-u_1)^2}{2\delta_1^2}}}\cdot\frac{1}{\sqrt{2\pi}\delta_2}{e^{-\frac{(z-x-u_2)^2}{2\delta_2^2}}}dx \end{aligned}\tag{4}
仔细一看，这里的 f ( z ) f(z) 就是在前一节《两个高斯分布乘积的理论推导》中推导的结果，这里先引用前一节的推导结果，公式7 和 公式8：
f 1 ( x ) f 2 ( x ) = S g ⋅ 1 2 π δ e − ( x − u ) 2 2 δ 2 S g = 1 2 π ( δ 1 2 + δ 2 2 ) e − ( u 1 − u 2 ) 2 2 ( δ 1 2 + δ 2 2 ) (5) \begin{aligned} f_1(x)f_2(x) &=S_g\cdot\frac{1}{\sqrt{2\pi} \delta}{e^{-\frac{(x-u)^2}{2\delta^2}}}\\\\ S_g&=\frac{1}{\sqrt{2\pi(\delta_1^2+\delta_2^2)}}e^{-\frac{(u_1-u_2)^2}{2(\delta_1^2+\delta_2^2)}}\tag{5} \end{aligned}
将公式5代入公式4，其中 f 1 ( x ) ∼ ( u 1 , δ 1 2 ) f_1(x)∼(u_1, \delta_1^2) , f 2 ( x ) ∼ ( z − u 2 , δ 2 2 ) f_2(x)∼(z-u_2, \delta_2^2) 可得：
f ( z ) = ∫ − ∞ + ∞ 1 2 π δ 1 e − ( x − u 1 ) 2 2 δ 1 2 ⋅ 1 2 π δ 2 e − ( x − ( z − u 2 ) ) 2 2 δ 2 2 d x = ∫ − ∞ + ∞ S g ⋅ 1 2 π δ e − ( x − u ) 2 2 δ 2 d x = S g (6) \begin{aligned} f(z)&=\int^{ +\infty }_{ - \infty }\frac{1}{\sqrt{2\pi}\delta_1}{e^{-\frac{(x-u_1)^2}{2\delta_1^2}}}\cdot\frac{1}{\sqrt{2\pi}\delta_2}{e^{-\frac{(x-(z-u_2))^2}{2\delta_2^2}}}dx\\\\ &=\int^{ +\infty }_{ - \infty }S_g\cdot\frac{1}{\sqrt{2\pi} \delta}{e^{-\frac{(x-u)^2}{2\delta^2}}}dx\\\\ &=S_g \end{aligned}\tag{6}

其中：
S g = 1 2 π ( δ 1 2 + δ 2 2 ) e x p ( − ( u 1 − ( z − u 2 ) ) 2 2 ( δ 1 2 + δ 2 2 ) ) (7) S_g=\frac{1}{\sqrt{2\pi(\delta_1^2+\delta_2^2)}}exp\bigg(-\frac{(u_1-(z-u_2))^2}{2(\delta_1^2+\delta_2^2)}\bigg)\tag{7}

则可得：
f ( z ) = 1 2 π ( δ 1 2 + δ 2 2 ) e x p ( − ( z − ( u 1 + u 2 ) ) 2 2 ( δ 1 2 + δ 2 2 ) ) (8) f(z)=\frac{1}{\sqrt{2\pi(\delta_1^2+\delta_2^2)}}exp\bigg(-\frac{(z-(u_1+u_2))^2}{2(\delta_1^2+\delta_2^2)}\bigg)\tag{8}
对比高斯分布函数表达式，可以明显看出， f ( z ) ∼ ( u 1 + u 2 , δ 1 2 + δ 2 2 ) f(z)∼(u_1+u_2, \delta_1^2+\delta_2^2)

同时，我们可以继续推导得：
若两个独立高斯分布 N 1 ∼ ( a u 1 , ( A δ 1 ) 2 ) ， N 2 ∼ ( b u 2 , ( B δ 2 ) 2 ) N_1∼(au_1, (A\delta_1)^2)，N_2∼(bu_2, (B\delta_2)^2)
则其卷积和为 N 1 ∼ ( u , δ 2 ) N_1∼(u, \delta^2)

  • u = a u 1 + b u 2 u=au_1+bu_2
  • δ 2 = A 2 δ 1 2 + B 2 δ 2 2 \delta^2= A^2\delta_1^2+B^2\delta_2^2

在这里插入图片描述

参考文献：

https://blog.csdn.net/chaosir1991/article/details/106910668
https://www.zhihu.com/question/26055805
https://blog.csdn.net/erzhonghou0033/article/details/106639102/

联系我们 沪ICP备2021010478号-7