题目
一设随机变量X所有可能的取值为x1，x2，⋯，xn，P（X=xi）=pi＞0（i=1，2，⋯，n），且p1+p2⋯+pn=1．定义事件X=xi的信息量为Hi=-lnpi，称X的平均信息量H（X）=-（p1lnp1+p2lnp2+⋯+pnlnpn）为信息熵．（1）若n=3，pk+1=2pk（k=1，2），求此时的信息熵；（2）最大熵原理：对一个随机事件的概率分布进行预测时，要使得信息熵最大．信息熵最大就是事物可能的状态数最多，复杂程度最大，概率分布最均匀，这才是风险最小（最合理）的决定．证明：H（X）≤lnn，并解释等号成立时的实际意义．（参考不等式：若f（x）=lnx，则sum_(i=1)^n(p)_(i)f（(x)_(i)）≤f（sum_(i=1)^n(p)_(i)(x)_(i)））
一设随机变量X所有可能的取值为x1，x2，⋯，xn，P（X=xi）=pi＞0（i=1，2，⋯，n），且p1+p2⋯+pn=1．定义事件X=xi的信息量为Hi=-lnpi，称X的平均信息量H（X）=-（p1lnp1+p2lnp2+⋯+pnlnpn）为信息熵．
（1）若n=3，pk+1=2pk（k=1，2），求此时的信息熵；
（2）最大熵原理：对一个随机事件的概率分布进行预测时，要使得信息熵最大．信息熵最大就是事物可能的状态数最多，复杂程度最大，概率分布最均匀，这才是风险最小（最合理）的决定．证明：H（X）≤lnn，并解释等号成立时的实际意义．
（参考不等式：若f（x）=lnx，则$\sum_{i=1}^{n}{p}_{i}f（{x}_{i}）≤f（\sum_{i=1}^{n}{p}_{i}{x}_{i}）$）
（1）若n=3，pk+1=2pk（k=1，2），求此时的信息熵；
（2）最大熵原理：对一个随机事件的概率分布进行预测时，要使得信息熵最大．信息熵最大就是事物可能的状态数最多，复杂程度最大，概率分布最均匀，这才是风险最小（最合理）的决定．证明：H（X）≤lnn，并解释等号成立时的实际意义．
（参考不等式：若f（x）=lnx，则$\sum_{i=1}^{n}{p}_{i}f（{x}_{i}）≤f（\sum_{i=1}^{n}{p}_{i}{x}_{i}）$）
题目解答
答案
解：（1）当n=3时，p1+p2+p3=1，且p2=2p1，p3=2p2，
∴${p}_{1}=\frac{1}{7}，{p}_{2}=\frac{2}{7}，{p}_{3}=\frac{4}{7}$，
∴$H（X）=-（{p}_{1}ln{p}_{1}+{p}_{2}ln{p}_{2}+{p}_{3}ln{p}_{3}）=-（\frac{1}{7}ln\frac{1}{7}+\frac{2}{7}ln\frac{2}{7}+\frac{4}{7}ln\frac{4}{7}）=-\frac{1}{7}ln\frac{{2}^{10}}{{7}^{7}}=ln7-\frac{10}{7}ln2$；
（2）证明：令f（x）=lnx，则pilnpi=pif（pi），
∴H（X）=-（p1lnp1+p2lnp2+...+pnlnpn）=$-\sum_{i=1}^{n}{p}_{i}f（{p}_{i}）≤-f（\sum_{i=1}^{n}{{p}_{i}}^{2}）$，
由题意可知当${p}_{i}=\frac{1}{n}$时，风险最小（最合理）的决定，
∴H（X）≤$-f（\frac{1}{n}）=lnn$，
当随机变量中每个变量发生的概率相同的时候，这时事物中每一个结果发生的可能性相同，情况分析是最复杂的，也是最合理的．
∴${p}_{1}=\frac{1}{7}，{p}_{2}=\frac{2}{7}，{p}_{3}=\frac{4}{7}$，
∴$H（X）=-（{p}_{1}ln{p}_{1}+{p}_{2}ln{p}_{2}+{p}_{3}ln{p}_{3}）=-（\frac{1}{7}ln\frac{1}{7}+\frac{2}{7}ln\frac{2}{7}+\frac{4}{7}ln\frac{4}{7}）=-\frac{1}{7}ln\frac{{2}^{10}}{{7}^{7}}=ln7-\frac{10}{7}ln2$；
（2）证明：令f（x）=lnx，则pilnpi=pif（pi），
∴H（X）=-（p1lnp1+p2lnp2+...+pnlnpn）=$-\sum_{i=1}^{n}{p}_{i}f（{p}_{i}）≤-f（\sum_{i=1}^{n}{{p}_{i}}^{2}）$，
由题意可知当${p}_{i}=\frac{1}{n}$时，风险最小（最合理）的决定，
∴H（X）≤$-f（\frac{1}{n}）=lnn$，
当随机变量中每个变量发生的概率相同的时候，这时事物中每一个结果发生的可能性相同，情况分析是最复杂的，也是最合理的．
解析
步骤 1：计算n=3时的信息熵
当n=3时，根据题目条件，p_1+p_2+p_3=1，且p_2=2p_1，p_3=2p_2，可以解出p_1，p_2，p_3的值。
步骤 2：计算信息熵H(X)
根据信息熵的定义，H(X)=-（p_1lnp_1+p_2lnp_2+p_3lnp_3），将步骤1中求得的p_1，p_2，p_3的值代入计算。
步骤 3：证明H(X)≤lnn
利用题目中给出的不等式$\sum_{i=1}^{n}{p}_{i}f（{x}_{i}）≤f（\sum_{i=1}^{n}{p}_{i}{x}_{i}）$，其中f(x)=lnx，证明H(X)≤lnn。
步骤 4：解释等号成立时的实际意义
当H(X)=lnn时，说明随机变量中每个变量发生的概率相同，这时事物中每一个结果发生的可能性相同，情况分析是最复杂的，也是最合理的。
当n=3时，根据题目条件，p_1+p_2+p_3=1，且p_2=2p_1，p_3=2p_2，可以解出p_1，p_2，p_3的值。
步骤 2：计算信息熵H(X)
根据信息熵的定义，H(X)=-（p_1lnp_1+p_2lnp_2+p_3lnp_3），将步骤1中求得的p_1，p_2，p_3的值代入计算。
步骤 3：证明H(X)≤lnn
利用题目中给出的不等式$\sum_{i=1}^{n}{p}_{i}f（{x}_{i}）≤f（\sum_{i=1}^{n}{p}_{i}{x}_{i}）$，其中f(x)=lnx，证明H(X)≤lnn。
步骤 4：解释等号成立时的实际意义
当H(X)=lnn时，说明随机变量中每个变量发生的概率相同，这时事物中每一个结果发生的可能性相同，情况分析是最复杂的，也是最合理的。