Chap 6
最大后验概率准则
- 选择译码函数 $F(b_j) = a^\ast$ 使满足 $P(b_j/a ^\ast) P(a^\ast) >= P(b_j/a_i) P(a_i)$
特殊情况
- 若输入符号的先验概率 $p(a_i)$ 均相等 => 最大似然译码准则
最大似然译码准则
- 选择译码函数 $F(b_j) = a^\ast$ 使满足 $P(b_j/a^\ast) >= P(b_j/a_i)$
特点
最大似然译码准则本身不再依赖于先验概率。
当先验概率为等概率分布时，它使错误概率$P_E$最小
有噪信道编码定理(香农第二定理)
如一个离散无记忆信道，信道容量为C。
当信息传输率R≤C时，只要码长足够长，
总可以在输入Xn符号集中找到
$M=2^{nR}$ 个码字组成的一组码$(2^{nR},n)$和相应的译码准则，
使译码的平均错误概率达到任意小($P_E≈0$)
$P = rXs$ [r行$a_1 \to a_r$，每行sum = 1]
$H(X|Y) - H(P_E) - P_E log(r) <= 0$
错误概率与编码方法
n很大时，信息传输率会降低很多，
编码后的信息传输率表示为：$R=log(M)/n$
n位，M个用作消息的码字
n越大，PE越低,信息传输率R越低
不严谨的考虑
在二元信道的n次扩展信道中，选取其中的M个作为消息，则
M大一些，$P_E$ 跟着大，R也大;
M小一些,$P_E$跟着小，R也小
M个作为消息码字之间太“象”了，或者说太“近”了 ==> P_E增加
引入$d_{\min}$:
$d_{\min}$越大，$P_E$越小，在M相同的情况下也是一样
最小距离译码准则
根据前式，最大似然译码准则可用汉明距离表示为
选择译码函数
使满足 $F(\beta_j) = a^\ast$
即$a^\ast$ 满足 $D (a^\ast, \beta_j) = D_{\min} (a_i, \beta_j)$
(无失真信源编码定理)
若信道的信息传输率R<=信道容量C，
总能对信源的输出进行适当的编码，使的在无噪无损信道上能无差错的以最大信息传输率C传输信息，
若R大于C，则无差错传输是不可能的。