R06-B-問2

【問2】

アルファベット $X=\{1,2,3\}$ 上の確率分布 $p_1$ と $p_2$ を以下のように定める：

$$p_1(1)=1,p_1(2)=0,p_1(3)=0,p_2(1)=0,p_2(2)=b,p_2(3)=1-b$$

ただし，$b\in (0,1)$ を定数とする。$p_1$ と $p_2$ の重み付き平均で表される確率分布 $q$ のうち，$X$ 上の一様分布 $u$ とのKullback-Leiblerダイバージェンス

$$D(u||q)=\sum _{x\in X}u(x)\log \frac{u(x)}{q(x)}$$

が最小となるものを求めよ。

---

DeepSeekV3

アルファベット $X=\{1,2,3\}$ 上の確率分布 $q$ は、$p_1$ と $p_2$ の重み付き平均として $q(x)=\alpha p_1(x)+(1-\alpha )p_2(x)$ で表される。ここで、$\alpha \in [0,1]$ である。一様分布 $u$ とのKLダイバージェンス $D(u\Vert q)$ を最小化する $\alpha$ を求める。

ステップ1: $q$ の表現

$p_1$ と $p_2$ の定義より：

$$\begin{array}{rl}q(1)& =\alpha \cdot 1+(1-\alpha )\cdot 0=\alpha ,\\ q(2)& =\alpha \cdot 0+(1-\alpha )\cdot b=(1-\alpha )b,\\ q(3)& =\alpha \cdot 0+(1-\alpha )\cdot (1-b)=(1-\alpha )(1-b).\end{array}$$

ステップ2: KLダイバージェンスの最小化

一様分布 $u(x)=\frac{1}{3}$ に対するKLダイバージェンスは：

$$D(u\Vert q)=\frac{1}{3}\sum _{x\in X}\log \frac{1/3}{q(x)}=-\log 3-\frac{1}{3}\sum _{x\in X}\log q(x).$$

これを最小化するには、${\sum }_{x\in X}\log q(x)$ を最大化すればよい。具体的には：

$$\log \left(\alpha \cdot (1-\alpha )b\cdot (1-\alpha )(1-b)\right)=\log \left(\alpha (1-\alpha {)}^{2}b(1-b)\right).$$

定数 $b(1-b)$ を無視すると、最大化対象は $\alpha (1-\alpha {)}^2$ となる。

ステップ3: 最大化問題の解析

関数 $f(\alpha )=\alpha (1-\alpha {)}^2$ の微分は：

$$f^{\prime }(\alpha )=(1-\alpha {)}^2-2\alpha (1-\alpha )=(1-\alpha )(1-3\alpha ).$$

$f^{\prime }(\alpha )=0$ の解は $\alpha =1/3$ または $\alpha =1$。区間 $[0,1]$ での最大値は $\alpha =1/3$ で達成され：

$$f(1/3)=\frac{1}{3}{\left(\frac{2}{3}\right)}^2=\frac{4}{27}.$$

ステップ4: 最適な $q$ の導出

$\alpha =1/3$ を代入すると：

$$\begin{array}{rl}q(1)& =\frac{1}{3},\\ q(2)& =\frac{2}{3}b,\\ q(3)& =\frac{2}{3}(1-b).\end{array}$$

答え：

$$q(1)=\frac{1}{3},q(2)=\frac{2}{3}b,q(3)=\frac{2}{3}(1-b).$$