大数据核心课件.pptx

大数据核心课件;目录;大数据概述;定义

大数据是指所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。它需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力。

大量（Volume）

数据体量庞大，从TB级别跃升至PB、EB甚至ZB级别。

高速（Velocity）

数据产生和处理的速度极快，要求快速响应和实时分析。;数据类型多样，包括结构化数据、半结构化数据和非结构化数据，如文本、图像、音频、视频等。;大数据的发展历程;商业领域;;大数据采集与预处理;传感器采集

传感器采集是数据采集的重要方法之一，通过各类传感器（如温度传感器、湿度传感器、压力传感器等）获取物理世界的实时数据。这些传感器可以将非电量信号（如温度、湿度、压力等）转换为电量信号，再通过数据采集系统传送到上位机进行分析处理。

日志采集

日志采集主要针对系统日志、应用日志等文本数据进行收集。许多互联网企业都有自己的海量数据采集工具，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，这些工具采用分布式架构，能够满足大规模日志数据的采集和传输需求。;;缺失值处理

在数据采集过程中，由于各种原因（如传感器故障、网络问题等）可能会导致数据缺失。对于缺失值，可以采用删除、填充（如使用均值、中位数、众数填充）、插值等方法进行处理。

异常值检测与处理

异常值是指数据中明显偏离正常值范围的数据点。这些异常值可能是由于测量错误、数据录入错误或数据损坏等原因造成的。可以采用统计学方法（如3σ准则、箱线图等）或机器学习算法（如孤立森林、LOF等）来检测异常值，并对其进行处理（如删除、替换或修正）。;;数据转换与标准化流程;数据离散化

数据离散化是指将连续型数据转换为离散型数据的过程。通过数据离散化，可以将连续型数据转换为更适合某些数据分析算法（如决策树、朴素贝叶斯等）处理的离散型数据。常用的数据离散化方法包括等宽离散化、等频离散化等。

数据特征构造

在数据分析过程中，有时需要根据业务需求和数据特性构造新的特征。这些新特征可以通过对原始数据进行变换、组合等操作得到，以提高数据分析的准确性和效率。例如，可以通过计算平均值、方差、协方差等统计量来构造新的特征，或者通过对原始数据进行非线性变换（如对数变换、平方根变换等）来构造新的特征。;大数据存储与管理技术;HDFS架构与组件

HDFS（HadoopDistributedFileSystem）是Hadoop生态系统中的核心组件，采用Master/Slave架构，包含一个NameNode（元数据服务器）和多个DataNode（数据节点）。NameNode负责管理文件系统的命名空间和客户端对文件的访问，DataNode负责存储文件的实际数据块。

数据存储机制

HDFS采用基于数据块（Block）的存储机制，默认数据块大小为128MB或256MB。文件被切分成多个数据块，并分布存储在集群中的多个DataNode上，每个数据块有多个副本（默认为3个），以提高数据的可靠性和容错性。

数据访问流程

客户端通过NameNode获取文件元数据（如文件分块信息和存储位置），然后直接与DataNode进行数据交互，读取或写入文件数据。HDFS的设计目标是提供高吞吐量的数据访问，适用于大规模数据的批量处理。;容错性与高可用性

HDFS通过数据块的副本机制和NameNode的故障转移功能实现高容错性和高可用性。当某个DataNode或NameNode出现故障时，HDFS能够自动恢复数据块副本或切换到备用NameNode，确保数据的可靠性和服务的连续性。;NoSQL数据库技术概览;数据仓库与数据挖掘技术;;大数据处理与分析方法;批处理与流处理技术;数据分析方法与工具介绍;;大数据在业务中的应用场景;;用户画像与精准营销;风险管理与预测模型;供应链风险管理

在供应链管理中，大数据分析技术也可以发挥重要作用。通过对供应链各环节的数据进行收集和分析，企业可以识别出供应链中的潜在风险点，如供应商信用风险、物流延误风险等。通过制定针对性的风险管理策略，企业可以降低供应链风险，保障业务稳定运营。;智能推荐系统构建与优化;;大数据安全与隐私保护策略;;;RSA（Rivest-Shamir-Adleman）;;对整个硬盘或存储设备进行加密，确保即使物理设备丢失，数据也无法被未经授权的人员访问。;角色定义;访问控制与身份认证方法;策略制定;用户输入预设的密码进行身份认证，是最简单、最常用的身份认证方式。;;隐私保护算法及实践案例;原理;允许对加密数据进行计算并得到加密结果，无需解密原始数据，从而保护数据隐私。;Apple的iCloud服务;大数据未来发展趋势与挑