爱刨根知识网

  1. 首页 > 经验知识 > >

信息熵的公式，平均信息量的计算公式是什么

生活经验公式

平均信息量的计算公式是什么
平均信息量的计算公式是I=log2（1/p） ， 其中p是概率 ， log2指以二为底的对数 。但对信息量作深入而系统研究 ， 还是从1948年C.E.香农的奠基性工作开始的 。在信息论中 ， 认为信源输出的消息是随机的 。
信息量与信息熵在概念上是有区别的 。在收到符号之前是不能肯定信源到底发送什么符号 ， 通信的目的就是使接收者在收到符号后 ， 解除对信源存在的疑义（不确定度） ， 使不确定度变为零 。这说明接收者从发送者的信源中获得的信息量是一个相对的量（H（U）-0） 。而信息熵是描述信源本身统计特性的物理量 ， 它表示信源产生符号的平均不确定度 ， 不管有无接收者 ， 它总是客观存在的量 。
信息熵的公式H(x)=E[I(xi)]=E[log2 1/p(xi)] = - ξp(xi)log2 p(xi)(i=1,2,..n)
信息熵就是平均信息量 ， 平均信息量越大熵就越大 。
信息量与该事件发生的概率成反比 ， 当事件为必然事件是 ， 信息量为零 。
通信原理平均信息量的计算单个字符的概率p1=1/5*1/2=1/10
;连续两个字符的概率p2
=
1/20*1/2=1/40
同概率平均信息量：h(p)=∑p(x)log1/p(x)
所以 ， h(p)=5*1/10*log10
+
20*1/40*log40
=1.66+2.16
=3.82
bit/字符
符号周期为t
符号速率r1=1/t
平均信息速率为r2=r1*h(p)=3.82/t
符号周期自带
高手帮忙解决简单的《通信原理》题目麻烦给出解答过程平均信息量：H(x)=1/2log2+2*1/8log8+1/16log16+3/16log(16/3)+5/16log(16/5)=a(自己算)
1小时的信息量：I=3600*Rb*H（x）=b(自己算)
最大信息量==>等概率分布==>H(x)=log5==>Imax=3600*Rb*log5=c
另外 ， log如果没写下标 ， 都是以2为底 。
符号的信息量怎么求AI智能问答
题目：
13 级电信通信率分别为 1/4 、1/4 、3/16 、5/16 ,试求 该信息源中每个符号的信息量 。
答案：
解:根据 I=-p(x) 得:符号A的信息量为=-p(A)=-=2 (b)符号B的信息量为=-p(B)=-=2 (b)符号C的信息量为=-p(C)=-=4-3 (b)符号D的信息量为=-p(D)=-=4-5 (b)2.某个信息源由A、B、C和D等4个符号组 成 。这些符号分别用二进制码组 00、 01、 10、 11 表示 。若每个二进制码元用宽度 为5ms的脉冲传输,试分别求出在下列 条件下的平均信息速率 。(1)这 4 个符号等概率出现;(2)这 4 个符号出现的概率分别为 1/4、 1/4 、 3/16 、 5/16 。解:(1)平均信息量 I=-4*=2 (b) 平均信息速率 ==200 b/s(2)平均信息量 I= =1.977 (b)
【信息熵的公式，平均信息量的计算公式是什么】百度教育

则这58 个符号所带的总信息量为I=23 I 0=23 1.415=110.545bit而...
1每个字母的平均信息量为 H(x) log2 2比特/ 符号4平均信息速率为 R rH (x) 2 100 200 bit /s1 1 3 10( 2)平均信息量为 H(x...
百度教育

3(1) 求符号的平均信息量;(2) 由1000个符号构成的序列,求某一...
(1)求符号的平均信息量; (2)由1000个符号构成的序列,求某一特定序列(例如有 m个" 0 " , (1000-m )个 1")的自信量的表达式; (3...

信息熵的公式，平均信息量的计算公式是什么

文章插图
以上就是关于信息熵的公式 ， 平均信息量的计算公式是什么的全部内容 ， 以及平均信息量的计算公式是什么的相关内容,希望能够帮到您 。

    推荐阅读


    上一篇：镜头滤镜怎么安装，相机滤镜怎么安装

    下一篇：零大写怎么写，数字大写字母怎么写