什么是信息论？
信息论由克劳德·香农于1948年创立，是关于信息量化、存储和通信的数学研究。它将熵定义为消息不确定性的度量。香农证明了每个通信信道都有最大容量，且在此限制以下的任何速率都可以通过巧妙编码实现可靠传输。
为什么这很重要？每条短信、每通电话、每段流媒体视频和每个Wi-Fi连接都依赖于香农定理。压缩算法（ZIP、MP3、JPEG）利用熵来缩减数据。纠错码添加策略性冗余以抵抗噪声。
📖 深入了解
类比 1
想象一下您正在玩 20 个问题。如果有人想到一种动物，你最好的策略是每次提出问题，将可能性分成两半——“它是哺乳动物吗？”消除了一半的选项。信息论准确衡量您需要多少是/否问题。一次公平的抛硬币需要 1 个问题（1 位）。掷骰子大约需要 2.6 个问题（2.6 位）。结果越令人惊讶，它携带的信息就越多。
类比 2
想想一个吵闹的电话。您在一家吵闹的餐厅里想听听您朋友的声音。香农表明，存在一个数学速度限制——信道容量——限制了你说话的速度并且仍能被理解。低于该限制，巧妙的编码（例如放慢语速和重复关键词）可以让您的信息完美传达。除此之外，无论你做什么，错误都是不可避免的。每个 Wi-Fi 路由器、5G 塔和流媒体服务都遵守这一法律。
🎯 模拟器提示
初学者
发送一条简单的消息，观察熵如何衡量信息内容——更多的惊喜意味着更多的比特。
中级
向通道添加噪声并观察纠错码如何保持消息完整性。
专家
将传输速率推向香农极限并探索容量与错误的权衡。
📚 术语表
🏆 关键人物
Claude Shannon (1948)
以“通信数学理论”创立信息论，定义熵和信道容量
Richard Hamming (1950)
创建用于错误检测/纠正的汉明码，这是数字通信的基础
Solomon Kullback (1951)
共同开发了 KL 散度，这是机器学习中广泛使用的基本度量
Abraham Lempel & Jacob Ziv (1977)
发明了 ZIP、GIF、PNG 格式的 LZ 压缩算法（LZ77、LZ78）
David Huffman (1952)
作为麻省理工学院的学生发明了最佳无前缀编码（霍夫曼编码）
🎓 学习资源
- A Mathematical Theory of Communication [paper]
信息论的奠基论文（贝尔系统技术杂志，1948） - Elements of Information Theory [paper]
全球研究生课程中使用的信息论标准教科书 - Information Theory Society [article]
IEEE 协会致力于信息理论研究和教育 - Visual Information Theory [article]
信息论概念的精美可视化介绍