02通信专业实务互联网技术（中级）第三部分.docx

科目二：通信专业实务——互联网技术（第三部分） 第十一章 大数据技术与应用 11.1 大数据基本概念 （1）了解大数据的产生背景 数据规模巨大到无法通过人工在合理时间内处理，随着计算机硬件价格不断 下降，大数据已有了硬件基础 （2）掌握大数据的定义 全球知名咨询公司麦肯锡，亚马逊、维基百科都有各种定义，无一例外的突出“大” （3）掌握大数据的特征 大容量：数据巨大，从TB级别跃迁到PB级别； 多样性： 数据类型繁多，不仅包括传统的格式化数据还有互联网的网络日志、 视频、图片、地理位置信息等； 速度快：数据产生和处理得快； 真实性：高质量的数据 11.2 大数据技术 （1）了解大数据技术体系 包含七层： 文件系统层：存储管理、容错处理、高扩展性、高可靠性、高可用性 数据存储层：数据存储对应多种形式数据结构，如键值、文档、列和图表等 资源管理和资源协调层：以提高资源的高利用率和吞吐量 计算框架层：本层计算框架非常庞杂，包含很多高度专用的框架 数据分析层：包括数据分析（消费）工具和一些数据处理函数库 数据集成层：包括管理数据分析工作流中的工具，和元数据的管理工具 操作框架层：提供可扩展的性能检测管理和基准测试框架 （2）掌握文件系统结构和工作原理 1 谷歌文件系统GFS是谷歌为满足迅速增长的数据处理需求，设计并实现的 文件系统，由几百上千的普通廉价的设备组装的存储机器。 2 GFS架构设计采用主/从模式，一个GFS包括一个Master服务器和Chunk 服务器，Master服务器是逻辑上的，物理上可是多个。 3 GFS Master服务器是单独节点，管理GFS所有元数据（如名字空间、 访问控制权限等）；GFS Chunk服务器是数据存储节点，文件被分割为固定 大小的Chunk（单位大小为64MB的block，以Linux文件存储方式存储在 本地系统），每个Chunk被全球唯一标识，默认时Chunk存储为3个副本 （存放在不同节点上），GFS Master服务器存储着文件与block的位置 映射及其他元数据信息。GFS Client实现GFS的API接口函数。 （3）掌握大数据系统访问其他数据存储系统 1传统的RDDBMS（关系型数据库管理系统）难以应对数据库存储的高容量 存储和操作，非关系型数据库NoSQL开始发展 2 NoSQL优点：易扩展、大数据量和高性能、灵活的数据模型、高可用； NoSQL缺点：无标准、没有存储过程、不支持SQL、支持的特性不够丰富和 产品不够成熟。 3 NoSQL数据库分类： （键值对（Key-Value）存储，列存储，文档型，图形）数据库： （4）了解数据分析技术 1大数据分析的6个基本方面：预测性分析能力，数据质量和数据管理， 可视化分析，语义引擎，数据挖掘算法，数据仓库 2 大数据处理过程：大数据采集，大数据导入和预处理，大数据统计和分析， 数据挖掘 （5）了解数据可视化技术 1常见的数据可视化方法：2D区域（地理空间数据可视化）、时态（线性方式 有起点和终点）、多维（例如饼图）、分层（呈现多组数据如树形图）、网络 （展示数据之间关系例如冲积图） 2根据数据类型和性质差异：统计数据可视化、关系数据可视化、 地理空间数据可视化。 11.3 Hadoop技术架构 （1）掌握HDFS文件系统工作原理 （2）掌握MapReduce工作原理 （3）掌握YARN的结构和工作原理 （4）了解Hadoop系统的各种工具 11.4 大数据应用发展 （1）了解大数据应用的发展现状 1国家层面从2012年以来发布各种政策，各地大数据形成3种模式：一是 强调研发及公共领域应用；二是强调以大数据为引领产业转型升级；三是 强调建立大数据基地吸纳企业落户。 2 我国企业内部数据是大数据应用的基础，以传统结构化数据库表为主， 大部分企业的数据量在50TB-500TB之间，以自建私有云为主、采购 公有云为辅。 （2）理解大数据应用存在的问题 1从数据源让，大数据的应用以内部数据为主，数据的开放和交易尚未形成 市场主流形态。 2从技术角度看，多数应用只采用云存储和云计算，仍用传统的ETL和分析 工具，缺乏模式创新，大数据应用应从传统简单的描述性分析向关联性、 预测性分析演进最终先决策性分析技术发展 3 从应用效果看，目前延续改善现有业务和产品为主，缺乏突破性创新应用，