R02-B-問2

题目

设 $X$ 和 $Y$ 为取值在 $\{0,1\}$ 中的随机变量。对于参数 $\alpha ,\beta ,\gamma \in [0,1]$，定义概率如下：

• $P(X=0)=\alpha$
• $P(X=1)=1-\alpha$
• $P(Y=0|X=0)=\beta$
• $P(Y=1|X=0)=1-\beta$
• $P(Y=0|X=1)=\gamma$
• $P(Y=1|X=1)=1-\gamma$
  定义二进制熵函数 $h(p)$ 如下：

$$h(p)=\{\begin{array}{ll}-p\log p-(1-p)\log (1-p),& \text{如果 }0<p<1\\ 0,& \text{如果 }p=0\text{ 或 }p=1\end{array}$$

问题

1. 使用二进制熵函数表达条件熵 $H(Y|X)$。
2. 若 $\beta =1-\gamma$，求使相互信息量 $I(X;Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha ,\beta$ 表达 $I(X;Y)$ 的最大值。
3. 固定 $\alpha ,\beta$ 的值（$0<\alpha <1$），求使相互信息量 $I(X;Y)$ 最小化的 $\gamma$ 值，并表示该最小值。
4. 固定 $\alpha ,\beta$ 的值（$0<\alpha <1,\beta >\frac{1}{2}$），求使相互信息量 $I(X;Y)$ 最大化的 $\gamma$ 值。

---

GPT-4o

解答

1. 使用二进制熵函数表达条件熵 $H(Y|X)$

条件熵 $H(Y|X)$ 表达了在给定 $X$ 的情况下，随机变量 $Y$ 的不确定性。根据题目中的概率定义，我们可以写出：

$$H(Y|X)=\sum _{x\in \{0,1\}}P(X=x)H(Y|X=x)$$

根据条件概率的定义，我们知道：

• 当 $X=0$ 时，$P(Y=0|X=0)=\beta$ 和 $P(Y=1|X=0)=1-\beta$；
• 当 $X=1$ 时，$P(Y=0|X=1)=\gamma$ 和 $P(Y=1|X=1)=1-\gamma$。
  因此，对于每个条件，$Y$ 的熵分别为：

$$H(Y|X=0)=h(\beta ),H(Y|X=1)=h(\gamma )$$

其中，二进制熵函数 $h(p)$ 定义为：

$$h(p)=-p\log p-(1-p)\log (1-p)\text{(如果 }0<p<1\text{)}$$

因此，条件熵 $H(Y|X)$ 为：

$$H(Y|X)=\alpha h(\beta )+(1-\alpha )h(\gamma )$$

其中，$\alpha$ 是 $P(X=0)$，而 $1-\alpha$ 是 $P(X=1)$。

2. 若 $\beta =1-\gamma$，求使相互信息量 $I(X;Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha ,\beta$ 表达 $I(X;Y)$ 的最大值

相互信息量 $I(X;Y)$ 定义为：

$$I(X;Y)=H(Y)-H(Y|X)$$

其中，$H(Y|X)$ 是条件熵，已在第一部分给出：

$$H(Y|X)=\alpha h(\beta )+(1-\alpha )h(\gamma )$$

而 $H(Y)$ 是 $Y$ 的熵，它可以通过求解 $P(Y=0)$ 和 $P(Y=1)$ 来得到。我们首先计算 $P(Y=0)$ 和 $P(Y=1)$：

$$P(Y=0)=P(Y=0|X=0)P(X=0)+P(Y=0|X=1)P(X=1)=\alpha \beta +(1-\alpha )\gamma$$ $$P(Y=1)=P(Y=1|X=0)P(X=0)+P(Y=1|X=1)P(X=1)=\alpha (1-\beta )+(1-\alpha )(1-\gamma )$$

因此，$H(Y)$ 为：

$$H(Y)=h(\alpha \beta +(1-\alpha )\gamma )$$

结合 $H(Y|X)$，我们得到相互信息量 $I(X;Y)$ 为：

$$I(X;Y)=h(\alpha \beta +(1-\alpha )\gamma )-[\alpha h(\beta )+(1-\alpha )h(\gamma )]$$

现在，要求 $I(X;Y)$ 最大化。题目中给定了 $\beta =1-\gamma$，因此我们可以将其代入并进行求解。为了最大化 $I(X;Y)$，我们需要找到使 $h(p)$ 最大的 $p$，而二进制熵函数 $h(p)$ 在 $p=0.5$ 时最大。所以，要求：

$$\alpha \beta +(1-\alpha )\gamma =0.5$$

将 $\beta =1-\gamma$ 代入，得到：

$$\alpha (1-\gamma )+(1-\alpha )\gamma =0.5$$

解这个方程，得到 $\alpha$ 的最优值。通过整理：

$$\alpha -\alpha \gamma +(1-\alpha )\gamma =0.5$$ $$\alpha -\alpha \gamma +\gamma -\alpha \gamma =0.5$$ $$\alpha +\gamma (1-2\alpha )=0.5$$

这给出的是关于 $\alpha$ 和 $\gamma$ 的关系。为了进一步分析，可以根据具体的 $\gamma$ 值来求解 $\alpha$。

---

3. 固定 $\alpha ,\beta$，使 $I(X;Y)$ 最小化

问题 3：固定 $\alpha ,\beta$，求使 $I(X;Y)$ 最小化的 $\gamma$

我们从相互信息的定义出发：

$$I(X;Y)=H(Y)-H(Y|X),$$

其中：

$$H(Y|X)=\alpha h(\beta )+(1-\alpha )h(\gamma ).$$

边缘熵 $H(Y)$ 计算如下：

$$P(Y=0)=\alpha \beta +(1-\alpha )\gamma ,P(Y=1)=1-P(Y=0),$$ $$H(Y)=h(P(Y=0))=h(\alpha \beta +(1-\alpha )\gamma ).$$

因此，相互信息为：

$$I(X;Y)=h(\alpha \beta +(1-\alpha )\gamma )-\left[\alpha h(\beta )+(1-\alpha )h(\gamma )\right].$$

条件 1：最小化 $I(X;Y)$

要使 $I(X;Y)$ 最小化，可以通过调整 $\gamma$ 来让 $H(Y)-H(Y|X)$ 的差最小。

• 当 $\gamma =\beta$ 时： $$P(Y=0)=\alpha \beta +(1-\alpha )\beta =\beta .$$ 此时： $$H(Y)=h(\beta ),H(Y|X)=\alpha h(\beta )+(1-\alpha )h(\beta )=h(\beta ).$$ 相互信息： $$I(X;Y)=h(\beta )-h(\beta )=0.$$

结论：

当 $\gamma =\beta$ 时，相互信息 $I(X;Y)$ 取得最小值，且最小值为：

$$I(X;Y)=0.$$

---

4. 固定 $\alpha ,\beta$，使 $I(X;Y)$ 最大化的 $\gamma$

相互信息最大化的关键是调整 $\gamma$ 使 $H(Y)-H(Y|X)$ 的差最大化。为此，我们需要最大化 $H(Y)$ 并最小化 $H(Y|X)$。

条件 1：最小化 $H(Y|X)$

$$H(Y|X)=\alpha h(\beta )+(1-\alpha )h(\gamma ).$$

$\gamma$ 应选择使 $h(\gamma )$ 最小，即：

$$\gamma =0\text{或}\gamma =1.$$

此时 $h(\gamma )=0$，有：

$$H(Y|X)=\alpha h(\beta ).$$

条件 2：最大化 $H(Y)$

当 $\gamma =0$ 或 $\gamma =1$ 时：

$$P(Y=0)=\alpha \beta +(1-\alpha )\gamma .$$

• 若 $\gamma =0$，则 $P(Y=0)=\alpha \beta$。
• 若 $\gamma =1$，则 $P(Y=0)=\alpha \beta +(1-\alpha )=\alpha (\beta -1)+1$。
  我们选择 $\gamma$ 使 $P(Y=0)$ 接近 0.5，从而使 $H(Y)$ 最大化。

---

结论：

• 固定 $\alpha ,\beta$，若 $\beta >\frac{1}{2}$，使 $I(X;Y)$ 最大化的 $\gamma$ 为： $$\gamma =0.$$ 最大相互信息量为： $$I(X;Y)=h(\alpha \beta )-\alpha h(\beta ).$$