信息论（Information Theory）
克劳德·香农创立的理论，量化了信息的概念，是现代通信、数据压缩、密码学的基础。
📖 标准介绍
信息论由克劳德·香农（Claude Shannon）于1948年创立，核心是用数学方法量化信息。香农熵（Shannon Entropy）是衡量信息不确定性的度量。
H(X) = -Σ p(x) log₂ p(x)
其中 p(x) 是事件 x 发生的概率。熵越大，不确定性越高，信息量越大。
💬 通俗介绍
信息量 = 意外程度。"太阳从东边升起"信息量很小（你早就知道），"明天下雪"信息量大（不确定）。
例子：
- 抛硬币：正反各50%，熵 = 1 bit（最大不确定性）
- 必然事件：100%发生，熵 = 0 bit（无不确定性）
- 天气预报：可能性越多，熵越大
📡 通信理论
香农定理：信道容量 = 带宽 × log₂(1 + 信噪比)
🗜️ 数据压缩
ZIP、MP3、JPEG等压缩算法都基于信息论原理
🔐 密码学
完美保密需要密钥熵 ≥ 消息熵（一次性密码本）