您现在的位置:首页 > >

中国海洋大学 信息论基础 课程大纲(理论课程)

发布时间:

中国海洋大学 信息论基础 课程大纲(理论课程) 英文名称(Element of Information Theory) 【开课单位】 信息科学与工程学院计算机科学系 【课程模块】 学科基础 【课程编号】 【课程类别】 必修 【学时数 】 51 【学分数 】 3.5 一、课程描述 本课程大纲根据 2011 年本科人才培养方案进行修订或制定。 (一)教学对象 信息论基础是计算机科学与技术专业本科生的一门必修专业基础课程。 (二)教学目标及修读要求 1、教学目标(课程结束后学生在知识、技能和态度三个层面达到的目标) 信息论是一门研究信息的存储、传输和处理一般规律的科学。本课程系统地讲授香农 (C.E. Shannon)信息论的基本内容及应用。通过本课程的学习,要求学生牢固掌握信息论的基本概 念、数学原理并会灵活运用;牢固掌握各类离散信源的信息测度;牢固掌握离散信道的信息 传输率及信道容量;牢固掌握离散信源无失真编码定理,离散有噪信道编码定理;牢固掌握 离散信源的信息率失真理论。 掌握连续信源和波形信源的概念及信息测度; 掌握连续信道和 波形信道的信息传输率及信道容量; 了解连续信源的信息率失真理论。 了解不确定归纳中的 最大熵分类原理。 对怎样利用信息论工具研究信息科学问题, 进行信息技术开发有一定认识。 2、修读要求(简要说明课程的性质,与其他专业课程群的关系,学生应具备的基本专业素 质和技能等) 信息论基础是计算机科学与技术专业本科学生必修的一门专业基础课程, 本课程系统地讲 授香农(C.E. Shannon)信息论的基本内容及应用。该课程主要是培养学生对信息论、编解码 基本技能和方法。其内容着重于基本概念、基本原理的学习,同时也体现最新的成果。该课 程将为学生奠定坚实的信息论和编解码基础, 本课程在计算机科学与技术专业的学位课程教 学中占有重要地位。 本课程对学生的基本要求是:1) 需要具有一定的《概率论》和《随机过程》基础;2) 课前 预习相应章节内容或者课后复习相应章节内容;课堂认真听讲并适当作笔记;3) 认真完成 布置的每章习题,并在讲解时对照掌握;认真完成平时测验并检查自身掌握情况;4) 除教 材外,阅读参考书和文献,更进一步理解课堂内容并拓宽知识面。 (三)先修课程(参照 2011 版人才培养方案中的课程名称,课程名称要准确) 先修课程为《概率论》。 二、教学内容 (一)第一章 绪论 1、主要内容: 信息的概念,信息论研究的对象、目的和内容,信息论发展简史与现状。 2、教学要求: (按照掌握、理解、了解三个层次对学生学习提出要求) 通过本章学习,要求牢固掌握信息的概念,信息、消息、信号之间的异同;牢固掌握概率信 息的概念;牢固掌握信息论的研究对象和目的;一般掌握信息论的研究内容;了解信息论的 发展过程。 3、重点、难点: 本章重点是信息的概念;信息论学科的研究对象、目的和内容;信息论学科发展的历史、现

状和动向。 4、其它教学环节(如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (二)第二章 离散信源及其信息测度 1、主要内容: 信源的数学模型及分类,离散信源的信息熵,信息熵的基本性质,离散信源的唯一性定理, 离散无记忆的扩展信源,离散平稳信源,马尔可夫信源。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习, 要求牢固掌握用概率空间描述信源的方法; 牢固掌握离散无记忆信源的定义、 自信息、信息熵及信息熵的基本性质;一般掌握熵的唯一性定理;牢固掌握离散无记忆的扩 展信源的概念及其信息熵; 牢固掌握离散平稳信源的概念, 二维平稳信源的联合熵、 条件熵, 离散平稳信源的极限熵;牢固掌握马尔可夫信源的概念及其信息熵。 3、重点、难点: 本章重点:信源的数学模型;各类离散信源的信息熵。 4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (三)第三章 离散信道及其信道容量 1、主要内容: 信道的数学模型及分类,平均互信息及平均条件互信息,平均互信息的特性,信道容量及其 一般计算方法,离散无记忆扩展信道及其信道容量,数据处理定理,信源与信道的匹配。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习,要求学生牢固掌握离散信道的数学模型;牢固掌握信道疑义度、平均互信息 和条件平均互信息的概念; 牢固掌握平均互信息的性质; 牢固掌握几种离散信道容量的计算; 牢固掌握离散无记忆扩展信道的概念及信道容量的计算; 牢固掌握数据处理定理; 牢固掌握 信道剩余度的概念。 3、重点、难点: 本章重点:离散信道的数学模型;信道容量;数据处理定理。 4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (四)第四章 无失真信源编码 1、主要内容: 编码器,等长码,等长信源编码定理,变长码,变长信源编码定理,哈夫曼码和其他编码方 法,几种实用的无失真信源编码方法。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习,要求学生牢固掌握编码的概念;牢固掌握等长码和等长信源编码定理;牢固 掌握编码效率的概念;牢固掌握唯一可译变长码和即时码的概念、即时码的构造、克拉夫特 不等式、唯一可译变长码的判断;牢固掌握无失真变长信源编码定理;牢固掌握平均码长、 紧致码和码的剩余度的概念;牢固掌握哈夫曼码的编码方法、哈夫曼码的紧致性;一般掌握 费诺码、香农码的编码方法;了解一些实用的无失真信源编码方法。 3、重点、难点: 本章重点:等长码;等长信源编码定理;变长码;变长码的编码方法;变长信源编码定理。 4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (五)第五章 有噪信道编码

1、主要内容: 错误概率和译码规则,错误概率与编码方法,有噪信道编码定理,联合信源信道编码定理, 纠错码的基本思想,汉明码的基本知识。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习,要求学生牢固掌握错误概率的概念;牢固掌握错误概率准则、最大似然译码 准则,以及如何根据这些准则进行译码;牢固掌握费诺不等式;牢固掌握错误概率和编码方 法的关系;牢固掌握有噪信道编码定理;牢固掌握联合信源信道编码定理;一般掌握纠错码 的概念和汉明码基本知识。 3、重点、难点: 本章重点:有噪信道编码定理。 4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (六)第六章 波形信源和波形信道 1、主要内容: 波形信源的统计特性和离散化,连续信源和波形信源的信息测度,具有最大熵的连续信源, 熵功率,连续信源熵的变换,连续信道和波形信道的分类,连续信道和波形信道的信息传输 率,连续信道和波形信道的信道容量,连续信道编码定理。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习, 要求一般掌握波形信源的统计特性; 一般掌握连续信源和波形信源的相对熵 的概念; 一般掌握均匀分布连续信源和高斯信源的熵的; 一般掌握峰值功率受限和平均功率 受限条件下信源的最大熵;一般掌握熵功率;了解连续信源熵的变换;一般掌握连续信道和 波形信道的分类; 一般掌握单符号连续信道的平均互信息的概念; 一般掌握多维连续信道平 均互信息的概念;一般掌握波形信道的信息传输率;一般掌握连续信道平均互信息的性质; 一般掌握单符号高斯加性信道、 单符号非高斯加性信道的信道容量; 了解多维无记忆高斯加 性连续信道、 多维有记忆高斯加性连续信道的信道容量; 一般掌握高斯白噪声加性波形信道 的信道容量;了解有色高斯加性波形信道的信道容量;一般掌握连续信道编码定理。 3、重点、难点: 本章重点:波形信源的统计特性;波形信源的信息测度;波形信道的信道容量。 4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学+习题课讨论。 (七)第七章 保真度准则下的信源编码 1、主要内容: 失真度和平均失真度, 信息率失真函数及其性质, 信息率失真函数的参量表述及其计算, 二 元信源和离散对称信源的函数, 连续信源的信息率失真函数, 保真度准则下的信源编码定理, 联合有失真信源信道编码定理,有失真信源编码定理的实用意义。 2、教学要求: (按照掌握、理解、了解三个层次对课程内容提出要求) 通过本章学习,要求学生牢固掌握失真度、平均失真度、保真度准则的概念;牢固掌握信息 率失真函数的概念及其性质; 一般掌握信息率失真函数的参量表述; 一般掌握信息率失真函 数的计算; 牢固掌握二元对称信源的信息率失真函数; 牢固掌握离散对称信源的信息率失真 函数; 一般掌握连续信源的信息率失真函数的概念; 了解连续信源信息率失真函数的参量表 述和计算; 了解保真度准则下的信源编码定理的物理意义; 了解有失真信源信道编码定理的 物理意义。 3、重点、难点: 本章重点:失真度;信息率失真函数;保真度准则下的信源编码定理。

4、其它教学环节: (如实验、习题课、讨论课、其它实践活动) : 传统讲授+多媒体教学。 三、教学环节及学时分配 本课程总学时 51 学时(如有实践环节根据课程的实际情况填写,如实验、上机、案例讨 论和角色扮演等) ,其学时分配见下表。 信息论基础课程教学学时分配表 课堂教学学时 教学内容 第一章 绪论 第二章 离散信源及其信息测度 第三章 离散信道及其信道容量 第四章 无失真信源编码 第五章 有噪信道编码 第六章 波形信源和波形信道 第七章保真度准则下的信源编码 合 计 51 总学时 理论讲授 2 7 7 7 7 4 7 41 10 2 2 2 2 2 习题课程 课外辅导/ 课外实践 学时 备注

四、考核方式及评价体系(考核方式及成绩评价体系由老师根据课程自己设定) 1、考核方式:闭卷考试 2、评价体系:课程考核成绩由平时成绩和期末考试成绩构成,平时成绩根据出勤、课堂讨 论、课后作业、期中检查等评定,所占比重一般不超过 50%。考核各部分的比重由老师结 合课程内容给定:平时成绩: 20 %期末考试: 80 % 五、选用教材及必读参考书(注明作者、出版社、出版时间及版次) 1、选用教材(告知学生需要购买的教材) 《信息论—基础理论与应用》(第二版),傅祖芸,电子工业出版社,2004 年 2 月 2、主要参考书 ? Robert J. McEliece, The Theory of Information and Coding(2nd Edition), Cambridge University Press, New York, USA,2001(中译本:李斗、殷悦、罗燕等译,信息论与编码理论(第二版), 电子工业出版社,2004 年 2 月). ? Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, Wiley-Interscience, July 18,2006 ? A mathematical theory of communication. C E Shannon. The Bell System Technical Journal,1948, 27(7, 10): 379-432, 623-656. 六、近两年开设情况 开设次数: 2 教师 张巍 2011 年 人数 149 2011 年 及格率 94% 2011 年 优秀率 10% 2012 年 人数 130 2012 年 及格率 90% 2012 年 优秀率 17.7%



热文推荐
猜你喜欢
友情链接: 工作计划 总结汇报 团党工作范文 工作范文 表格模版 生活休闲