高斯分布的矩生成函数

高斯分布的矩生成函数 (Moment Generating Function, MGF) 可以通过其定义来计算。对于随机变量 $X$，其矩生成函数 $M_X(t)$ 定义为：
$M_X(t)=\mathbb{E}[e^{tX}]$
假设 $X$ 是一个均值为 $\mu$、方差为 ${\sigma }^2$ 的高斯分布（正态分布）随机变量，即 $X\sim \mathcal{N}(\mu ,{\sigma }^2)$。其概率密度函数为：
$f_X(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
为了计算高斯分布的矩生成函数，我们需要计算以下积分：
$M_X(t)=\mathbb{E}[e^{tX}]={\int }_{-\infty }^{\infty }{e}^{tx}{f}_X(x)dx$
将高斯分布的概率密度函数 $f_X(x)$ 代入，得到：
$M_X(t)={\int }_{-\infty }^{\infty }{e}^{tx}\cdot \frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$
将指数部分结合，得到：
$M_X(t)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^{\infty }{e}^{tx-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$
现在，重新整理指数部分：
$tx-\frac{(x-\mu {)}^2}{2{\sigma }^2}=tx-\frac{x^2-2\mu x+{\mu }^2}{2{\sigma }^2}=-\frac{x^2}{2{\sigma }^2}+\frac{\mu x}{{\sigma }^2}+tx-\frac{{\mu }^2}{2{\sigma }^2}=-\frac{x^2}{2{\sigma }^2}+\left(t+\frac{\mu }{{\sigma }^2}\right)x-\frac{{\mu }^2}{2{\sigma }^2}$
为了简化积分，我们可以完成平方，将其转换为标准形式：
$-\frac{x^2}{2{\sigma }^2}+\left(t+\frac{\mu }{{\sigma }^2}\right)x=-\frac{1}{2{\sigma }^2}\left(x^2-2x{\sigma }^2\left(t+\frac{\mu }{{\sigma }^2}\right)\right)=-\frac{1}{2{\sigma }^2}\left((x-{\sigma }^2(t+\frac{\mu }{{\sigma }^2}){)}^2-{\sigma }^4(t+\frac{\mu }{{\sigma }^2}{)}^2\right)$
代入后得到：
$M_X(t)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^{\infty }{e}^{-\frac{1}{2{\sigma }^2}(x-{\sigma }^2(t+\frac{\mu }{{\sigma }^2}){)}^2+\frac{{\sigma }^2}{2}(t+\frac{\mu }{{\sigma }^2}{)}^2-\frac{{\mu }^2}{2{\sigma }^2}}dx$
由于高斯分布的积分等于1：
$M_X(t)=e^{\frac{{\sigma }^2}{2}(t+\frac{\mu }{{\sigma }^2}{)}^2-\frac{{\mu }^2}{2{\sigma }^2}}$
进一步简化：
$M_X(t)=e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$
因此，均值为 $\mu$、方差为 ${\sigma }^2$ 的高斯分布 $X$ 的矩生成函数为：
$M_X(t)=e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$
理解高斯分布的积分等于1这一点至关重要。以下是详细的推导过程，以解释这一点。
首先，我们知道标准正态分布的概率密度函数 $f_X(x)$ 定义如下：
$f_X(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
为了验证其积分等于1，我们计算：
${\int }_{-\infty }^{\infty }{f}_X(x)dx={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$
我们先考虑标准正态分布的情况，即 $\mu =0$ 和 $\sigma =1$，其概率密度函数为：
$f_X(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
计算该函数的积分：
${\int }_{-\infty }^{\infty }{f}_X(x)dx={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx$
令 $I={\int }_{-\infty }^{\infty }{e}^{-\frac{x^2}{2}}dx$，因此有：
$\frac{1}{\sqrt{2\pi }}I=1\Rightarrow I=\sqrt{2\pi }$
为了计算 $I$，我们利用极坐标变换。考虑：
$I^2=\left({\int }_{-\infty }^{\infty }{e}^{-\frac{x^2}{2}}dx\right)\left({\int }_{-\infty }^{\infty }{e}^{-\frac{y^2}{2}}dy\right)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{-\frac{x^2+y^2}{2}}dxdy$
将上述双重积分转换为极坐标 $(r,\theta )$，其中 $x=r\cos \theta$，$y=r\sin \theta$，则 $dxdy=rdrd\theta$。积分变为：
$I^2={\int }_0^{2\pi }{\int }_0^{\infty }{e}^{-\frac{r^2}{2}}rdrd\theta$
积分可以拆分为角度和径向部分：
$I^2=\left({\int }_0^{2\pi }d\theta \right)\left({\int }_0^{\infty }r{e}^{-\frac{r^2}{2}}dr\right)=2\pi {\int }_0^{\infty }r{e}^{-\frac{r^2}{2}}dr$
令 $u=\frac{r^2}{2}$，则 $du=rdr$，因此积分变为：
$I^2=2\pi {\int }_0^{\infty }{e}^{-u}du=2\pi {\left[-e^{-u}\right]}_0^{\infty }=2\pi (0-(-1))=2\pi$
因此：
$I=\sqrt{2\pi }$
回到我们原来的积分，有：
${\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx=\frac{1}{\sqrt{2\pi }}\sqrt{2\pi }=1$
对于一般的正态分布 $\mathcal{N}(\mu ,{\sigma }^2)$，我们可以通过变量替换来证明：
令 $z=\frac{x-\mu }{\sigma }$，则 $dz=\frac{dx}{\sigma }$，因此积分变为：
${\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}dz=1$
因为我们已经证明标准正态分布的积分等于1，所以一般的正态分布的积分也是1。