Chap 7
信道容量 (信道编码问题)
目的
利用已给信道
- 使传输的信息量最大 (最大信息率问题)
- 发生错误的概率任意小，
提高通信的可靠性
平均互信息
I(X;Y)是信源概率分布$p(x_i)(i=1,2,…,n)$或概率密度函数p(x)的上凸函数
根据上凸函数定义，如果I(X;Y)在定义域内对$p(x_i)$ 的极值存在，则该极值一定是极大值
信道容量
C = 在固定信道$p(y_j /x_i)$情况下，平均互信息极大值
信息率失真函数 (信源编码问题)
目的
已知信源和允许失真度D的条件下
信源必须传送给信宿的信息率最小
[尽可能少的码符号 传送 固定多信源消息]
提高通信的有效性, 反映信源可压缩程度
信息率失真函数R(D)定义
信源给定，
容忍的失真度D内
- 最小平均信息量 (再现信源消息所必须获得)
平均互信息
I(X;Y)又是信道转移概率分布$p(y_j /x_i)$或条件概率密度函数p(y/x)的下凸函数，
因此在满足保真度准则条件下，I(X;Y)对$p(y_j /x_i)$的条件极值若存在，则一定是极小值
信息率失真函数
R(D) = 在固定信源$p(x_i)$, 保真度D下，平均互信息极小值