信息论与编码课程论文zw
信息论与编码课程论文----现代通信与香农三大定理学号：2013141443032 姓名： 张蔚引言：信息论是信息科学和技术的基本理论，信息科学大厦的地基。没有信息论的基础，从事通信和信息理论的研究和创新是不可能的事情。当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科——信息论的诞生。通信的目的是为通信双方传递有用信息，通信系统关心和研究的问题是如何提高通信的有效性和可靠性。而通信系统的有效性和可靠性是一对矛盾。香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。 关键词： 信息论基础 现代通信系统 香农三大定理 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母 E 只有一个点。而不常用的 Z 有两划两点。这样，在传送英语时，平均每个字母的码数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送速度只差 15%。这在一百五十多年前，是相当了不起了。 在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？ “传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制，而每波特所含比特数受噪声的限制。”前一个限制，由那奎斯特（Harry Nyquist）在 1928年漂亮地解决了。而后一个问题则更复杂。1928 年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间，维纳（Norbert Wiener）发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展。 在这种情况下，香农（Claude E Shannon）在 1948 年发表了《通信的一个数学理论》(C. E. Shannon, A Mathematical Theory of Communication”, The Bell System Technical Journal, Vol. 27, pp. 379-423, 1948 ）完整地解决了通讯速度上限的问题。“信息论”（Ination Science）从此诞生。 要建立信息理论，首先要能够度量信息。信息是由信号传播的。但是信息与信号有本质的区别。所以如何度量一个信号源的信息量，就不是简单的问题。从直觉上说，如果一个信号源发出不变的符号值（比如总是 1），它是没有信息量的，因为它没有告诉别人任何东西。而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。例如，如果一个地方 90%的时候是晴天，气象报告就没有多大用处。而如果 50%的时候是晴天其余时候下雨，人们就需要气象报告了。 从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。 那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。由于每个符号值的出现是随机的，这样的序列就有很多可能性。显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。而数学上可以证明，当 N 趋于无穷大时，“非典型序列”出现的几率趋于零。也就是说，我们只要注意“典型序列”就行了。而典型序列的个数，就是它们出现概率的倒数（因为总概率为 1）。而码字所携带的数据量，就是它的个数以 2 为底的对数。所以，这样的分析就得出了序列所含的数据量。除以序列的长度，就得到每个符号所含的数据量。而这个结果恰好就等于上面所说的信息量！ 至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。 解决了信号源的数据量问题后，我们就可以来看信道了。信道（channel）的作用是把信号从一地传到另一地。在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。但问题是，即使这些符号，也不是总能正确地到达目的地的。在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数，则是受噪声环境的限制。这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。这样代表不同数据的信号就会比较接近。例如，假定信号允许的电压值在正负 1 伏之间。如果每个波特含一个比特，那么可能的值是 0 或 1。这样我们可以用-1 伏代表 0，用 1 伏代表 1。而假如每波特含两个比特，那么可能的值就是 0，1，2，3 。我们需要用-1 伏，-0.33 伏，0.33 伏，1 伏来代表着四个可能值。这样，如果噪声造成的误差是 0.5 伏的话，那么在前一种情况不会造成解读的错误（例如把-1V 错成了-0.5 伏，它仍然代表 0）。而在后一种情况则会造成错误（例如把-1V 错成了-0.5 伏，它就不代表 0，而代表 1 了）。所以，每个波特所含的比特数也是不能随便增加的。以上两个因素合起来，就构成了对于数据传输速率的限制。”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。例如，如果符号值是 0 和 1，那么三个符号组成的序列就有 8 个：000，001，010 ，011，100，101，110 ，111。我们现在只用其中两个来代表信息：000 和111。这样，如果噪声造成了一个符号的错误，比如 000 变成了 010，那我们还是知道发送的是 000 而不是 111。这个方法的代价与前面的方法
