概率密度例题

確率密度関数 $p(x)$ を持つ確率変数 $X$ に対して，モーメント母関数 $M(\theta )$ は、変数 $\theta$ を用いて次式で定義されます：

$$M(\theta )=E[\exp (\theta X)]={\int }_{-\infty }^{\infty }\exp (\theta x)p(x)dx$$

また，$N(\mu ,{\sigma }^2)$ は，平均 $\mu$，分散 ${\sigma }^2$ の正規分布を表し，その確率密度関数 $p_N(x)$ は次式で定義されます：

$$p_N(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

(1) $N(\mu ,{\sigma }^2)$ のモーメント母関数を $M_N(\theta )$ としたとき、次式を導出します：

$$M_N(\theta )=\exp \left(\mu \theta +\frac{{\sigma }^2}{2}{\theta }^2\right)$$

まず、$M_N(\theta )$ を定義式に従って計算します：

$$M_N(\theta )=E[\exp (\theta X)]={\int }_{-\infty }^{\infty }\exp (\theta x)p_N(x)dx$$

ここで、$p_N(x)$ を代入します：

$$M_N(\theta )={\int }_{-\infty }^{\infty }\exp (\theta x)\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)dx$$

指数関数の部分をまとめます：

$$M_N(\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^{\infty }\exp \left(\theta x-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)dx$$

ここで、$\theta x-\frac{(x-\mu {)}^2}{2{\sigma }^2}$ を簡略化します。まず、分母を共通化します：

$$\theta x-\frac{(x-\mu {)}^2}{2{\sigma }^2}=\theta x-\frac{x^2-2\mu x+{\mu }^2}{2{\sigma }^2}=\theta x-\frac{x^2}{2{\sigma }^2}+\frac{\mu x}{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}$$

$\theta x$ と $\frac{\mu x}{{\sigma }^2}$ をまとめます：

$$\theta x+\frac{\mu x}{{\sigma }^2}=\frac{\theta {\sigma }^2+\mu }{{\sigma }^2}x$$

したがって、式全体は次のようになります：

$$\exp \left(\theta x-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)=\exp \left(-\frac{x^2}{2{\sigma }^2}+\frac{\theta {\sigma }^2+\mu }{{\sigma }^2}x-\frac{{\mu }^2}{2{\sigma }^2}\right)$$

ここで、補完平方（ completing the square）を使います：

$$-\frac{x^2}{2{\sigma }^2}+\frac{\theta {\sigma }^2+\mu }{{\sigma }^2}x=-\frac{1}{2{\sigma }^2}\left(x^2-2(\theta {\sigma }^2+\mu )x\right)=-\frac{1}{2{\sigma }^2}{\left(x-(\theta {\sigma }^2+\mu )\right)}^2+\frac{(\theta {\sigma }^2+\mu {)}^2}{2{\sigma }^2}$$

したがって、

$$\exp \left(\theta x-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)=\exp \left(-\frac{1}{2{\sigma }^2}{\left(x-(\theta {\sigma }^2+\mu )\right)}^2+\frac{(\theta {\sigma }^2+\mu {)}^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\right)$$

この式を $M_N(\theta )$ に代入します：

$$M_N(\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^{\infty }\exp \left(-\frac{1}{2{\sigma }^2}{\left(x-(\theta {\sigma }^2+\mu )\right)}^2\right)\exp \left(\frac{(\theta {\sigma }^2+\mu {)}^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\right)dx$$

ここで、定数部分を積分の外に出します：

$$M_N(\theta )=\exp \left(\frac{(\theta {\sigma }^2+\mu {)}^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\right)\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^{\infty }\exp \left(-\frac{1}{2{\sigma }^2}{\left(x-(\theta {\sigma }^2+\mu )\right)}^2\right)dx$$

最後の積分部分は正規分布の確率密度関数の積分なので、1 になります：

$$M_N(\theta )=\exp \left(\frac{(\theta {\sigma }^2+\mu {)}^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\right)$$

式を整理します：

$$M_N(\theta )=\exp \left(\frac{{\theta }^2{\sigma }^4+2\theta {\sigma }^2\mu +{\mu }^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\right)$$

${\mu }^2$ がキャンセルされます：

$$M_N(\theta )=\exp \left(\frac{{\theta }^2{\sigma }^4+2\theta {\sigma }^2\mu }{2{\sigma }^2}\right)$$

最後に：

$$M_N(\theta )=\exp \left(\mu \theta +\frac{{\sigma }^2}{2}{\theta }^2\right)$$

これで、$N(\mu ,{\sigma }^2)$ のモーメント母関数 $M_N(\theta )$ が導出されました。