R05-B-問1

問1

以下の各問いに答えよ。
(1) 区間 $[0,a]$ ($a>0$) 上の一様分布に従う確率変数の微分エントロピーを求めよ。
(2) 区間 $[0,a]$ ($a>0$) 上で定義された確率密度関数 $p(x)=\frac{2x}{a^2}$ に従う確率変数の微分エントロピーを求めよ。

Information theory

中文翻译

请回答以下问题。
(1) 求区间 $[0,a]$ ($a>0$) 上均匀分布的随机变量的微分熵。
(2) 求区间 $[0,a]$ ($a>0$) 上概率密度函数为 $p(x)=\frac{2x}{a^2}$ 的随机变量的微分熵。

解答

(1) 均匀分布的微分熵为

$$h(X)=-{\int }_0^a\frac{1}{a}\log \frac{1}{a}dx=\log a$$

(2) 对于概率密度函数 $p(x)=\frac{2x}{a^2}$，微分熵为

$$h(X)=-{\int }_0^a\frac{2x}{a^2}\log \frac{2x}{a^2}dx=\log a-\frac{1}{2}$$

DeepSeekV3

解答：

(1) 区间 $[0,a]$ 上均匀分布的随机变量的微分熵：

均匀分布的概率密度函数为：
$p(x)=\frac{1}{a},0\le x\le a$

微分熵的定义为：
$h(X)=-{\int }_0^{a}p(x)\log p(x)dx$

代入 $p(x)=\frac{1}{a}$：
$h(X)=-{\int }_0^a\frac{1}{a}\log \frac{1}{a}dx$
$=-\frac{1}{a}\log \frac{1}{a}\cdot a$
$=-\log \frac{1}{a}$
$=\log a$

因此，区间 $[0,a]$ 上均匀分布的随机变量的微分熵为：
$h(X)=\log a$

(2) 区间 $[0,a]$ 上概率密度函数 $p(x)=\frac{2x}{a^2}$ 的随机变量的微分熵：

微分熵的定义为：
$h(X)=-{\int }_0^{a}p(x)\log p(x)dx$

代入 $p(x)=\frac{2x}{a^2}$：
$h(X)=-{\int }_0^a\frac{2x}{a^2}\log \left(\frac{2x}{a^2}\right)dx$

为了简化计算，进行变量代换 $y=\frac{x}{a}$，则 $x=ay$， $dx=ady$，积分限变为 $0\le y\le 1$，概率密度函数变为：
$p(y)=\frac{2ay}{a^2}=\frac{2y}{a}$

因此，微分熵变为：
$h(X)=-{\int }_0^1\frac{2y}{a}\log \left(\frac{2y}{a}\right)\cdot ady$
$=-2{\int }_0^{1}y\log \left(\frac{2y}{a}\right)dy$
$=-2{\int }_0^{1}y\left(\log (2y)-\log a\right)dy$
$=-2\left({\int }_0^{1}y\log (2y)dy-\log a{\int }_0^{1}ydy\right)$

先计算 ${\int }_0^{1}y\log (2y)dy$：
利用分部积分法，设 $u=\log (2y)$， $dv=ydy$，则 $du=\frac{1}{y}dy$， $v=\frac{y^2}{2}$：
$\int y\log (2y)dy=\frac{y^2}{2}\log (2y)-\int \frac{y^2}{2}\cdot \frac{1}{y}dy$
$=\frac{y^2}{2}\log (2y)-\frac{1}{2}\int ydy$
$=\frac{y^2}{2}\log (2y)-\frac{y^2}{4}$

在区间 $[0,1]$ 上求定积分：
${\int }_0^{1}y\log (2y)dy=\left[\frac{1}{2}\log 2-\frac{1}{4}\right]-0=\frac{\log 2}{2}-\frac{1}{4}$

再计算 ${\int }_0^{1}ydy=\frac{1}{2}$

将结果代入微分熵表达式：
$h(X)=-2\left(\frac{\log 2}{2}-\frac{1}{4}-\log a\cdot \frac{1}{2}\right)$
$=-2\left(\frac{\log 2}{2}-\frac{1}{4}-\frac{\log a}{2}\right)$
$=-\log 2+\frac{1}{2}+\log a$

因此，区间 $[0,a]$ 上概率密度函数 $p(x)=\frac{2x}{a^2}$ 的随机变量的微分熵为：
$h(X)=\log a-\frac{1}{2}$