https://ms.mbd.baidu.com/r/LmZNTqB2eY?f=cp&u=1d1b01c5dffc13e5
《坤鹏论：信息熵越大，信息量到底是越多还是越少？》

1.概率与信息熵

第一，概率，概率是信息熵的核心，偏偏大多数人不懂、不理解概率。

第二，…

第三，概率和信息熵是反比关系，概率越高，信息熵越低；概率越低，信息熵越高，理解它需要在脑子里面先转个弯。

2.信息论中的信息熵（信息量）

到底是信息熵越大，信息量越多？还是信息熵越大，信息量越少？

很多人很难理解的是——信息熵越大，信息量越多。

香农说，“我考虑的是，从一个集合中作出选择时会有多少信息产生……”

谁作出选择？

正如前面文章所说，信息论的信息集合中的接收者与热力学容器中的麦克斯韦妖一样，都是通过信息做出选择。

因此，信息、信息熵、信息量，都是针对接收者而言的。

这个接收者是一个客观存在物——只计字数，不问内容，是物理意义的。

并且它也像麦克斯韦妖一样，作出选择后，旧的记忆会被清除。

因此，我们说一本书的信息熵或是信息量多少，都是针对这个接收者来说。

但接收者不是你，也不是我，不是任何实际的生命体。

和麦克斯韦妖一样，他是一个客观的存在物。

这是许多讲信息熵的文章中没有重点提到的，或是干脆就讲错了，所以也容易造成人们的理解混乱。

1950年3月22日至23日，香农在一次学术会的信息论演讲中直接开宗明义：

根本不要去管什么意义，即便他讲的主题是书面英语的冗余，他也对意义毫无兴趣。

他所谈论的信息，就是某种从一点被传递到另一点的东西，可能根本不含意义。

“比如，它可以是一个随机数字串，也可以是一枚导弹或一个电视信号里的信息。”

显然，香农的信息也是物理意义的——只计字数，不问内容。

或者也可以说，香农的信息是集中注意在“物理”层面，而没有“心理因素”。

我们要明白，香农解决的是通信系统的事。

再具体些，解决的是信息的传输问题。

直白些就是——“传输的信息到底有几个意思，这和我有毛线关系吗？！”

“我只要在信息熵公式的指导下压缩数据，对重要部分冗余处理，保证准确无误地每个字符送达，一点不出错，就足够了。”

而且，也只有这样，才能够建立信息熵的数学公式，从而使得信息可以度量。

3.信息论中的信息

说的都是“信息”，但“信息”却是不一样的。

信息论中的“信息”和我们常识中的“信息”不一样，关键区别就在于它们的时间属性。

我们常识的“信息”是过去时——“已经说了什么”；

而信息论的“信息”是将来时——“还能说什么”。

用公式总结信息论的信息和信息量则为：

信息≠已经说了什么；信息＝还能说什么；

信息量≠已经说了多少；信息量＝还能说多少。

所以，信息论中的信息、信息量指的是，未来将要发生的信息、信息量。

在说它们的时候，它们还没有发生。

但是，信息熵却是过去时的，我们讲它的时候，已经发生过了。

让我们再梳理一遍加上主语和时间烙印的定义：

信息熵——接收者对某件事物已经存在的不确定性的程度；

信息——接收者未来消除对某件事物已经存在的不确定性的东西；

信息量——接收者未来消除对某件事物已经存在的不确定性所需要的东西的总量。

要特别注意的是，以上这三个定义是在同一个静止的时间点作出的。