信息及其度量

信息是指消息中所包含的有效内容，或者说是预先不知道而待知的内容。
比如说1949年新中国成立，这对于我来说是已知的，那么它对我来说就没有信息量。再比如，明天会下雨，这对我来说就有一定的信息量。
那么如何度量消息中所含的信息量？

可见，消息中所含的信息量与 不可预测性或不确定性有关
根据概率论知识，事件的不确定性可用事件出现的概率来描述。
故若用P(x)表示发生信息的概率，I表示消息中所含的信息量，则易知：
(1)消息中所含的信息量是该消息出现的概率的函数，即:I=I [P(x)]
(2)P(x)越小，I越大，P(x)越大，I越小。且当P(x)=1的时候，I=0；P(x)=0,I=∞
(3)若干相互独立事件构成的消息，所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性。
即：I[P(x1)P(x2)…]=I[P(x1)]+I[P(x2)]+……
故综合易得：

一、离散消息的信息量x为

通常一般广泛使用的单位为比特
比如求二进制信源（0，1）等概独立发送符号时，每个符号的信息量
因为等概独立，故发送每个符号的概率为1/2，根据公式易得每个符号的信息量为1bit。

二、离散消息的平均信息量

平均信息量即信源中每个符号所含信息量的统计平均值

且等概时，熵最大，Hmax=㏒₂(1/P(x))

通信系统性能指标

从研究信息传输的角度来说，有效性和可靠性是通信系统的主要性能指标

一、有效性

（1）对于模拟通信系统，传输同样的信源信号，所传输的传输带宽越小，频带利用率越高，有效性越好。信号带宽与调制方式有关。
（2）数字通信系统有效性的指标
1）码元传输速率RB（传码率、波特率）
1.定义：每秒传送的码元个数
2.单位：波特（Baud）
3.计算：若一个码元的时间长度为Ts秒
则RB=1/Ts

2）信息传输速率Rb（传信率、比特率）
1.定义：每秒传输比特数（信息量）
2.单位：bit/s,可简记为b/s或bps
3.RB与Rb转换：Rb=RB*H

3）频带利用率—把带宽和传输速率联系起来
1.定义：单位带宽内的传输速率

二、可靠性

（1）对于模拟通信系统，通常用接收端输出信号与噪声功率比（S/N）来度量，它反映了信号经传输后的保真程度和抗噪声能力
（2）对于数字通信系统的可靠性可用差错概率来衡量。差错概率常用误码率和误信率来衡量。