什麼是信息論？
信息論由克勞德·香農於1948年創立，是關於信息量化、存儲和通信的數學研究。它將熵定義為消息不確定性的度量。香農證明了每個通信信道都有最大容量，且在此限制以下的任何速率都可以通過巧妙編碼實現可靠傳輸。
為什麼這很重要？每條短信、每通電話、每段流媒體視頻和每個Wi-Fi連接都依賴於香農定理。壓縮算法（ZIP、MP3、JPEG）利用熵來縮減數據。糾錯碼添加策略性冗餘以抵抗噪聲。
📖 深入了解
類比 1
想像一下您正在玩 20 個問題。如果有人想到一種動物，你最好的策略是每次提出問題，將可能性分成兩半——「它是哺乳動物嗎？」消除了一半的選項。資訊理論準確衡量您需要多少是/否問題。一次公平的拋硬幣需要 1 個問題（1 位）。擲骰子大約需要 2.6 個問題（2.6 位元）。結果越令人驚訝，它攜帶的訊息就越多。
類比 2
想想一個吵鬧的電話。您在吵鬧的餐廳裡想聽聽您朋友的聲音。香農表明，存在一個數學速度限制——通道容量——限制了你說話的速度並且仍能被理解。低於該限制，巧妙的編碼（例如放慢語速和重複關鍵字）可以讓您的訊息完美傳達。除此之外，無論你做什麼，錯誤都是不可避免的。每個 Wi-Fi 路由器、5G 塔和串流媒體服務都遵守這項法律。
🎯 模擬器提示
初學者
發送一條簡單的訊息，觀察熵如何衡量訊息內容——更多的驚喜意味著更多的位元。
中級
向頻道添加雜訊並觀察糾錯碼如何保持訊息完整性。
專家
將傳輸速率推向香農極限並探索容量與錯誤的權衡。
📚 術語表
🏆 關鍵人物
Claude Shannon (1948)
以「通訊數學理論」創立資訊理論，定義熵與通道容量
Richard Hamming (1950)
創建用於錯誤檢測/糾正的漢明碼，這是數位通訊的基礎
Solomon Kullback (1951)
共同開發了 KL 散度，這是機器學習中廣泛使用的基本度量
Abraham Lempel & Jacob Ziv (1977)
發明了 ZIP、GIF、PNG 格式的 LZ 壓縮演算法（LZ77、LZ78）
David Huffman (1952)
作為麻省理工學院的學生發明了最佳無前綴編碼（霍夫曼編碼）
🎓 學習資源
- A Mathematical Theory of Communication [paper]
資訊理論的奠基論文（貝爾系統技術雜誌，1948） - Elements of Information Theory [paper]
全球研究生課程中使用的資訊理論標準教科書 - Information Theory Society [article]
IEEE 協會致力於資訊理論研究與教育 - Visual Information Theory [article]
資訊理論概念的精美視覺化介紹