情報理論とは？
情報理論は、1948年にクロード・シャノンが創始した、情報の定量化・保存・通信に関する数学的研究です。メッセージの不確実性の尺度としてエントロピーを定義します。シャノンは、すべての通信路には最大容量があり、この限界以下のレートであれば巧みな符号化で信頼性のある伝送が可能であることを証明しました。
なぜ重要なのか？ すべてのテキストメッセージ、電話、ストリーミング動画、Wi-Fi接続はシャノンの定理に基づいています。圧縮アルゴリズム（ZIP、MP3、JPEG）はエントロピーを利用してデータを縮小します。誤り訂正符号は戦略的な冗長性を追加してノイズに耐えます。
📖 詳細分析
例え 1
20 の質問をプレイしていると想像してください。誰かが動物について考えた場合、最善の戦略は、そのたびに可能性を二分するような質問をすることです - 「それは哺乳類ですか?」オプションの半分が削除されます。情報理論は、必要な「はい」/「いいえ」の質問の数を正確に測定します。公正なコイン投げには 1 つの質問 (1 ビット) が必要です。サイコロのロールには約 2.6 個の質問 (2.6 ビット) が必要です。結果が驚くべきものであればあるほど、より多くの情報が含まれます。
例え 2
騒がしい電話を思い浮かべてください。あなたは騒々しいレストランで友達の声を聞こうとしています。シャノンは、どれだけ速く話しても理解できるかについては、数学的な速度制限、つまりチャネル容量があることを示しました。この制限を下回ると、賢いエンコード (ゆっくり話す、キーワードを繰り返すなど) により、メッセージが完璧に伝わります。それ以上では、何をしてもエラーは避けられません。すべての Wi-Fi ルーター、5G タワー、ストリーミング サービスはこの法律に従います。
🎯 シミュレーターのヒント
初心者
簡単なメッセージを送信し、情報コンテンツのエントロピーがどのように測定されるかを観察してください。驚きが多ければビット数も多くなります。
中級者
チャネルにノイズを追加し、エラー訂正コードがメッセージの整合性をどのように維持するかを観察します。
上級者
伝送速度をシャノンの制限に近づけ、容量とエラーのトレードオフを検討します。
📚 用語集
🏆 主要人物
Claude Shannon (1948)
「コミュニケーションの数学理論」で情報理論を確立し、エントロピーとチャネル容量を定義
Richard Hamming (1950)
デジタル通信の基礎となるエラー検出/訂正用のハミングコードを作成
Solomon Kullback (1951)
機械学習で広く使用される基本的な尺度である KL ダイバージェンスを共同開発しました
Abraham Lempel & Jacob Ziv (1977)
ZIP、GIF、PNG 形式の基礎となる LZ 圧縮アルゴリズム (LZ77、LZ78) を発明
David Huffman (1952)
MITの学生として最適なプレフィックスフリーコーディング（ハフマンコーディング）を発明
🎓 学習リソース
- A Mathematical Theory of Communication [paper]
情報理論の創設論文 (ベル システム技術ジャーナル、1948 年) - Elements of Information Theory [paper]
世界中の大学院で使用されている情報理論の標準教科書 - Information Theory Society [article]
情報理論の研究と教育に特化した IEEE 協会 - Visual Information Theory [article]
情報理論の概念を美しく視覚化した入門書