信息熵？维基百科这样说：熵-信息论

计算公式

设随机变量X = { Xi | i = 1, 2, 3, …, n}，Xi 出现的概率为 P(Xi)。则 X 的不确定性或熵（Entropy）定义为：H(X) = 𝜮 P(Xi) * log2P(Xi)

有趣应用

1. 甲任意取一个不超过10的整数，由乙来猜，但允许乙提K个问题，甲只回答“是”或者“非”，问K多大时可以确定猜到该数。

答：若令乙猜想作为事件V，V可能有10种结果，假定这10种结果是等概率的，V的熵为：H(V)=log2(10)=3.32。令事件Ak=U1U2U3…Uk 为提问k个问题，但Ui的熵不超过log2(2)=1，（因为只有“是”或者“非”），故Ak的熵为不超过k比特，则：log2(10)<=k·log2(2)=k，k>=3.32，k = 4。故K为4时可以猜到这个数。

2. 有25个外表完全相同的硬币，其中24个重量完全一样，有一个较轻的伪币，用无砝码的天平，试问要做多少次的比较，可以找到这枚伪币？

答：事件V为找出伪币，可能有25个结论，他们是等概率，故：H(V)=log2(25)，事件U为天平称的结果，可能有3种情况：左右平衡、左边重、右边重。故：H(U)=log2(3)。令Ak=U1U2U3…Uk为连续用k次天平的事件，由于 k·log2(3)>=log2(25)，k = 3。故最少3次可以找到这枚伪币。