Chap 1 - 信息论框架

Chap 1

香农重点: 信源到信宿的全过程

= 收、发端联合最优化问题

重点: 编码

维纳重点: 接收端

研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来?

• 最佳过滤理论（维纳滤波器）
• 统计检测与估计理论
• 噪声理论等

香农信息论缺陷

1. 寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在
2. 信息的度量没有考虑收信者的主观性和主观意义: 撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素