【信息论基础第二讲】离散信源的数学模型及其信息测度包括信源的分类、信源的数学模型、离散信源的信息测度、二元信源的条件熵联合熵

一、信源的分类

二、信源的数学模型

1、信源的概念

在通信系统中，收信者在未收到信息以前，对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说，用概率空间来描述信源输出。 

2、信源的分类

（1）离散信源和连续信源

一般不说是离散还是连续我们都默认为离散信源 

（2）有记忆信源和无记忆信源

离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的彼此统计独立的

（3）平稳信源和不稳定信源

离散平稳信源：离散信源的概率分布不随时间变化 

3、信源熵

（1）定义

（2）例子——鉴别伪币问题

24个硬币中有一个伪币，由前一讲已经知道称量三次可以找出伪币，那么每次称量中获得的信息是多少？

抓住信源熵的核心概念“平均不确定度”

三、离散信源的信息测度

信息测度通俗来说就是每输出一个符号携带的信息量。

1、自信息的定义

（1）I(xi) 的含义

当xi输出以前，表示输出xi发生的不确定性

当xi输出以后，表示输出消息xi所包含的信息量

（2）I(xi) 的单位

若取r=2，单位为bit

若取r=e，单位为nat

那么1nat = ？bit

这里需要注意的是虽然单位不同，但是不管是bit还是nat本质上表示的都是I（xi），所以在推导 1nat = ？bit的关系时要带着单位，而且不建议用换底公式因为没有任何的物理意义。

2、联合自信息与条件自信息

四、二元信源的信息熵

五、二元信源的条件熵 

1、定义

这里一定要注意是p(xiyi)联合概率加权

 2、物理意义

令信源输出为X，信宿接受消息为Y，条件熵H(X/Y)表示信宿在收到Y后，信源X仍然存在的不确定度，这是传输失真造成的，H(X/Y)称为损失熵或者信道疑义度。

条件熵H(Y/X)表示对于信源的输出X，信宿接受Y所存在的不确定度，这是在传输过程中噪声引起的，H(Y/X)称为噪声熵或者信道散布度。

六、二元信源的联合熵

七、熵、条件熵、联合熵之间的关系

H(XY) = H(X) + H(Y/X)

H(XY) = H(Y) + H(X/Y)

H(U1U2U3...UN) = H(U1) + H(U2|U1) + H(U3|U1U2) + ... + H(UN|U1U2U3...UN-1)