信息论基础：串联信道
信息论基础：串联信道
串联信道是信息论中的一个重要概念，它描述了多个信道依次连接时信息传递的特性。本文通过一个综艺节目中的猜谜游戏引入串联信道的概念，解释了串联信道的信息传递过程及其数学原理，并通过仿真实验展示了串联信道的实际应用。
串联信道
大学时候看过一期湖南卫视《快乐大本营》，那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机，坐在一排椅子上，两两中间隔着挡板，好像并排在一起上厕所。李湘把一部电影的名字写在纸板上，给第一名观众看。第一名观众用动作表演，试图让第二名观众理解。第二名观众再表演给第三名观众，以此类推到倒数第二名观众。然后何炅问最后一名观众电影名字。
那一期的电影名字是《泰坦尼克号》。第一名观众显然看过这部电影，稍做思考，就表演出电影海报中的经典画面。他先模仿Rose张开双臂享受的表情，再后退一步，模仿Jack双臂环抱的动作。他表演得很到位，主持人一脸赞叹的表情，场下观众报以热烈的掌声。第二名观众似乎看懂了，照猫画虎模仿了一遍。以此类推，动作越传越走形，到倒数第二名观众，表演已经相当僵硬、变形。何炅问最后一人，这是什么电影。那名观众自信满满地说“风筝”。也难怪，前面一只风筝张着翅膀飞，后面一个人双手拽着风筝。
这是一个串联信道（也叫级联信道）的例子。信道1的输出𝑌是信道2的输入。
该信道服从以下的不等式：
I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) .I(X;Y)≥I(X;Z).
证明如下：
按照互信息的链法则：
I ( X ; Y , Z ) = I ( X ; Y ) + I ( X ; Z ∣ Y ) I(X;Y,Z) = I(X;Y) + I(X;Z|Y)I(X;Y,Z)=I(X;Y)+I(X;Z∣Y)
I ( X ; Y , Z ) = I ( X ; Z ) + I ( X ; Y ∣ Z ) I(X;Y,Z) = I(X;Z) + I(X;Y|Z)I(X;Y,Z)=I(X;Z)+I(X;Y∣Z)
由于已知Y YY时，X XX和Z ZZ条件独立。
I ( X ; Z ∣ Y ) = 0 I(X;Z|Y) = 0I(X;Z∣Y)=0
合并以上式子得到：
I ( X ; Y ) − I ( X ; Z ) = I ( X ; Z ∣ Y ) ≥ 0 I(X;Y) - I(X;Z) = I(X;Z|Y) \geq 0I(X;Y)−I(X;Z)=I(X;Z∣Y)≥0
即
I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) .I(X;Y)≥I(X;Z).
上式的意义是，串联信道的容量不可能大于各组成信道的容量。实际中，随着越来越多的信道串联起来，整个信道的容量会趋于0。
举个具体的串联信道例子。将一连串𝑛个相同参数（即出错概率𝑓相等）的二元对称信道（BSC）串联起来。
其总体的转移概率矩阵可以计算为：
当𝑛趋于无穷大时，转移概率矩阵的每一项都趋近于0.5。这个串联信道相当于一个𝑓=0.5的BSC信道，而该信道的容量为0 bit，完全不能传递信息。
下面利用串联的BSC信道，做个仿真实验。将一幅二值图像（一连串二进制的0和1），经过12个串联的BSC信道(𝑓=0.1)进行传输。我们观察从第1一直到第12个信道的输出。从下图可以看到，随着信道增多，噪声越来越严重。到了第12个信道，从输出的图像中完全看不到输入图像的影子；或者说，输出的图像与输入图像几乎完全无关；还可以说，输入的图像几乎完全没有发送过去。
如果把信号处理器看作是信道，对于输入信号做一连串的信号处理，就相当于经过了一连串的信道传输。上述不等式意味着，随着对于信号的处理越来越多，输出信号与输入信号之间的互信息越来越少，直至二者完全独立。也叫做数据处理不等式（Data Processing Inequality）。