《信息论》研究生课程讲义第一章.doc

第一章 引论 1-1信息与信息科学 1-1-1信息的概念 信息的定义：很难给出，信息的定义是信息论研究的一个基本内容。象物质，能量一样越基本的概念越难以给出明确的定义。 信息的概念：信息是可以传递的，具有不确定性的消息（情报，指令，数据，信号）中所包含的表示事物特性的内容。 几个要点： 信息不是事物的本身，信息是抽象的。而消息，情报，指令，数据等本身不是信息。 Shannon认为：信息是关于环境事实的可以通信的知识。 Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。 近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号，信息就是知识等。 Shannon信息论认为：信息的多少等于无知度的大小。人们已知的消息不是信息，而好象，大概，可能之类的不确切的内容包含着信息。（不能说信息冗余、信息压缩） 1-1-2信息科学 信息科学是研究信息的概念，相关理论和应用的科学，信息科学是一门新兴科学，边缘学科。 信息科学的特点：（1）多学科--它与许多基础科学和应用技术有关，互相渗透，如数学，逻辑学，心理学，语言文字学，生物学，控制论，计算机科学，通信技术，仿生学，人工智能技术。（2）产业化--它应用服务于国民经济和社会生活的各个方面，从而形成一个新兴产业----信息产业。 信息科学的研究范围： 信息源：自然信息源（物理，化学，天体，地理，生物）；社会信息源（管理，金融，商业）；知识信息源（古今中外） 信息载体：第一载体（语言）；第二载体（文字）；第三载体（电磁波）。 信息的采集与转换：传感器，雷达，视，听，触，力，声光热点磁。 信息的传输：光，电磁波，神经，意念。 信息的存储与处理：计算机，视听系统。 3信息的性质 ⑴信息的可扩充性：相对物质和能量而言，信息资源没有限度，永远不会耗尽，而且回越来越多，信息爆炸，知识爆炸，能源危机。 ⑵信息的可压缩性：通过人脑的归纳和综合，信息可精炼和压缩，产生专家系统，知识库。 ⑶信息的可替代性：信息可替代有形物质，信息出口，情报出口。 ⑷信息的可传递性：人与人之间，人与物之间，细胞，天体之间。 ⑸信息的可扩散性：总是以各种方式向外部扩散，绝对保密是无法实现的。 ⑹信息的可共享性：信息无法垄断，不能做转手交易。 信息的有效性：相同信息可有不同的有效性。 1-1-4信息论 信息论（基本信息论）：利用数学方法研究信息的度量，传递，交换和存储的一门科学。它是通信理论中的基础理论。 Shannon信息论的基本观点： ⑴非决定论观点：承认偶然性，同时也承认必然性，分析时利用概率论研究事物的统计规律。 ⑵形式化假说：通信的目的只是在接收端恢复消息的形式，而不需要了解消息的内容，假定各种信息的语意信息量等恒定不变，并等于1，以简化分析。 ⑶不确定性：信息量的大小与消息状态的不确定性大小有关。 信息论的研究范畴： ⑴狭义信息论（Shannon信息论）也称为基本信息论，研究信息度量，信道容量，信源编码。 ⑵一般信息论（通信理论），研究信号与噪声理论，信号检测理论，信号传输理论，信道编码，抗干扰理论，信号处理理论。 ⑶广义信息论（信息科学），更广泛的研究内容。 1-2通信系统的基本模型 1-2-1通信系统模型 通信的概念：通信就是互相传递和交换信息。 通信技术：起源与人类社会初期；语言，手势，文字，印刷术，电报（1840），电话（1880），无线电（1920），广播，电视，计算机通信（1960），通信卫星（1964），Internet（1990），全球信息网络。 通信系统模型： ⑴信源与信宿：信源是信息的来源，是以符号的形式表现的具体消息。 数字信源/模拟信源； 离散信源/连续信源； 独立信源/相关信源； 无记忆信源/有记忆信源； ⑵变换与反变换：为了有效可靠地传递信息对信息进行必要的加工过程。 能量变换；将非电能信号转化为电能信号。 编码与译码；信道编码，信源编码，有效性编码，可靠性编码。 调制与解调；频谱变换。 模拟调制：AM，FM，PM，SSB。 数字调制：ASK，FSK，PSK，QPSK，SQPSK，MSK。 ⑶信道：信息传递的媒介。 有线信道：明线，电缆，光纤，波导。 无线信道：短波，高频，微波，光波。 恒参信道：信道特性不随时间变化，有线，微波。 变参信道：信道特性随时间变化，短波。 离散信道： 连续信道： 数字通信系统模型： 1-2-2通信系统的基本要求 ①有效性：单位时间内传递的信息量最大。 ②可靠性：在干扰情况下失真率和差错率最小。 ③其它要求：适应性，经济性，实用性。 1-3信息论的发展历史 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1932年，Morse发明电报编码； 1946年