82-sc-r3 追試験 問題3 問3 (3)

事後確率最大化法( MAP, Maximum A Posteriori) 结合了观测数据的尤度和先验信息. 在这种情况下, 先验信息是 $x_1-x_2$ 服从均值为 1, 方差为 2 的正态分布.
假设我们有以下观测数据 $(a_1,a_2)=(1,0),(0,1),(1,1)$ 和对应的测定值 $y=-5,7,1$. 我们需要通过 MAP 方法来估计 $x_1$ 和 $x_2$.
步骤如下:

1. 定义先验分布和尤度函数:
   • 先验分布: 根据文献, $x_1-x_2$ 服从均值为 1, 方差为 2 的正态分布:

$$p(x_1,x_2)\propto \exp \left(-\frac{(x_1-x_2-1{)}^2}{2\cdot 2}\right)=\exp \left(-\frac{(x_1-x_2-1{)}^2}{4}\right)$$

• 尤度函数: 观测模型为 $y=a_1{x}_1+a_2{x}_2+e$, 假设误差 $e$ 服从标准正态分布 $N(0,1)$:

$$L(x_1,x_2)=\prod _{i=1}^3\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{(y_i-(a_{1i}{x}_1+a_{2i}{x}_2){)}^2}{2}\right)$$

具体来说: 

$$L(x_1,x_2)\propto \exp \left(-\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]\right)$$

2. 构建事后分布:
   • 事后分布 $p(x_1,x_2|y)$ 与先验分布 $p(x_1,x_2)$ 和尤度函数 $L(x_1,x_2)$ 成比例:

$$p(x_1,x_2|y)\propto L(x_1,x_2)\cdot p(x_1,x_2)$$

将先验分布和尤度函数结合起来:

$$p(x_1,x_2|y)\propto \exp \left(-\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]\right)\cdot \exp \left(-\frac{(x_1-x_2-1{)}^2}{4}\right)$$

3. 最大化事后分布:
   • 取对数以简化计算:

$$\log p(x_1,x_2|y)\propto -\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]-\frac{(x_1-x_2-1{)}^2}{4}$$

• 求偏导数并设为零以找到 $x_1$ 和 $x_2$ 的最优值:
  对 $x_1$ 求偏导数:

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_1}=-\left(\frac{\partial }{\partial x_1}\left[\frac{1}{2}(-5-x_1{)}^2+\frac{1}{2}(1-(x_1+x_2){)}^2\right]\right)-\frac{1}{4}\cdot 2(x_1-x_2-1)$$

 对 $x_2$ 求偏导数: 

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_2}=-\left(\frac{\partial }{\partial x_2}\left[\frac{1}{2}(7-x_2{)}^2+\frac{1}{2}(1-(x_1+x_2){)}^2\right]\right)+\frac{1}{4}\cdot 2(x_1-x_2-1)$$

4. 求解方程:
   计算偏导数并设为零:
   对 $x_1$:

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_1}=(x_1+5)+(x_1+x_2-1)-\frac{1}{2}(x_1-x_2-1)=0$$

整理得:

$$\begin{gathered} 2x_1+x_2+4-\frac{1}{2}{x}_1+\frac{1}{2}{x}_2+\frac{1}{2}=0 \\ \Rightarrow \frac{3}{2}{x}_1+\frac{3}{2}{x}_2+\frac{9}{2}=0 \\ \Rightarrow x_1+x_2+3=0 \\ \Rightarrow x_1+x_2=-3(1) \end{gathered}$$

对 $x_2$:

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_2}=(x_2-7)+(x_1+x_2-1)+\frac{1}{2}(x_1-x_2-1)=0$$

整理得:

$$\begin{gathered} x_2-7+x_1+x_2-1+\frac{1}{2}{x}_1-\frac{1}{2}{x}_2-\frac{1}{2}=0 \\ \Rightarrow \frac{3}{2}{x}_2+\frac{3}{2}{x}_1-\frac{15}{2}=0 \\ \Rightarrow x_1+x_2=5(2) \end{gathered}$$

根据(1)和(2)的解, 出现矛盾, 说明在不一致的数据条件下, 先验和观测结合产生的结果无法一致. 所以在重新审视数据及模型的一致性是必需的.

---

你说得对，在前面的计算中并没有充分考虑误差项 $e$。同时，事后概率最大化法的中文是“最大后验概率法”。

我们重新考虑误差项 $e$，并重新应用最大后验概率法进行计算。

重新定义问题：

假设模型为 $y=a_1{x}_1+a_2{x}_2+e$，其中 $e$ 是服从标准正态分布 $N(0,1)$ 的误差项。

观测数据为：

$$\{\begin{array}{l}{a}_1=1,a_2=0,y=-5\\ a_1=0,a_2=1,y=7\\ a_1=1,a_2=1,y=1\end{array}$$

我们假设 $x_1$ 和 $x_2$ 的先验分布为 $x_1-x_2$ 服从均值为 1，方差为 2 的正态分布：

$$p(x_1,x_2)\propto \exp \left(-\frac{(x_1-x_2-1{)}^2}{4}\right)$$

定义尤度函数：

观测数据的尤度函数为：

$$L(x_1,x_2)\propto \exp \left(-\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]\right)$$

定义事后分布：

事后分布 $p(x_1,x_2|y)$ 与先验分布 $p(x_1,x_2)$ 和尤度函数 $L(x_1,x_2)$ 成比例：

$$p(x_1,x_2|y)\propto L(x_1,x_2)\cdot p(x_1,x_2)$$

结合先验分布和尤度函数：

$$p(x_1,x_2|y)\propto \exp \left(-\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]\right)\cdot \exp \left(-\frac{(x_1-x_2-1{)}^2}{4}\right)$$

最大化事后分布：

取对数以简化计算：

$$\log p(x_1,x_2|y)\propto -\frac{1}{2}\left[(-5-x_1{)}^2+(7-x_2{)}^2+(1-(x_1+x_2){)}^2\right]-\frac{(x_1-x_2-1{)}^2}{4}$$

对 $x_1$ 求偏导数并设为零：

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_1}=(x_1+5)+(x_1+x_2-1)-\frac{1}{2}(x_1-x_2-1)=0$$

整理得：

$$\begin{gathered} 2x_1+x_2+4-\frac{1}{2}{x}_1+\frac{1}{2}{x}_2+\frac{1}{2}=0 \\ \Rightarrow \frac{3}{2}{x}_1+\frac{3}{2}{x}_2+\frac{9}{2}=0 \\ \Rightarrow x_1+x_2+3=0 \\ \Rightarrow x_1+x_2=-3(1) \end{gathered}$$

对 $x_2$ 求偏导数并设为零：

$$\frac{\partial \log p(x_1,x_2|y)}{\partial x_2}=(x_2-7)+(x_1+x_2-1)+\frac{1}{2}(x_1-x_2-1)=0$$

整理得：

$$\begin{gathered} x_2-7+x_1+x_2-1+\frac{1}{2}{x}_1-\frac{1}{2}{x}_2-\frac{1}{2}=0 \\ \Rightarrow \frac{3}{2}{x}_2+\frac{3}{2}{x}_1-\frac{15}{2}=0 \\ \Rightarrow x_1+x_2=5(2) \end{gathered}$$

解决矛盾：

联立方程 (1) 和 (2)：

$$\{\begin{array}{l}{x}_1+x_2=-3\\ x_1+x_2=5\end{array}$$

这表明观测数据与假设模型存在矛盾。在正常情况下，如果观测数据与假设模型一致，应该能够通过 MAP 方法解出 $x_1$ 和 $x_2$。这种矛盾可能是由于观测数据中的测量误差或模型假设不准确。

重新审视数据和模型，确保数据的一致性和模型的合理性，是解决问题的关键。