《探索性数据分析及其应用》课件.ppt

探索性数据分析及其应用

课程大纲概览第一部分探索性数据分析简介第二部分数据准备与清洗第三部分数据分析方法第四部分数据可视化与解读

什么是探索性数据分析（EDA）1EDA是一种通过各种方法和技术，深入了解数据特征、发现潜在模式和关系、检验假设并生成可视化结果的分析方法。2它是数据科学的重要组成部分，为数据挖掘、机器学习和统计建模提供基础支持。

EDA的历史发展120世纪初，统计学家开始研究数据分析方法。21970年代，JohnTukey提出EDA的概念，并将其发展成为一种系统性的分析方法。321世纪，随着数据量和分析需求的增加，EDA成为数据科学的核心环节。

EDA与传统统计分析的区别EDA更注重数据的探索和发现，强调直观可视化。传统统计分析更注重数据的推断和检验，强调数学模型。

EDA的核心理念和目标发现模式和关系从数据中识别出潜在的趋势、异常和规律。检验假设验证预先设定的假设，并提出新的假设。生成可视化结果将数据分析结果以直观的方式呈现，方便理解和传播。

数据准备阶段概述数据收集从各种来源收集数据，例如数据库、文件、API等。数据质量评估检验数据的完整性、一致性、准确性和可靠性。数据清洗处理缺失值、异常值和错误数据。数据标准化将数据转换为统一的格式和尺度。

数据收集方法关系型数据库（SQL）CSV、Excel、JSON等文件应用程序编程接口（API）网络爬虫

数据质量评估完整性检查数据是否完整，是否存在缺失值。一致性确保数据在不同来源和时间段的一致性。准确性验证数据是否符合实际情况。可靠性评估数据来源的可靠性和可信度。

数据清洗技术1缺失值处理2异常值检测3错误数据纠正4数据格式转换5重复数据删除

处理缺失值的策略删除记录删除包含缺失值的记录。1插值使用平均值、中位数或其他方法插补缺失值。2使用默认值用默认值填充缺失值。3忽略缺失值直接忽略缺失值，不进行处理。4

异常值检测方法1箱线图方法2Z-score方法33-sigma规则4聚类分析方法

数据标准化和归一化1标准化将数据缩放到特定范围，例如0到1之间。2归一化将数据调整为均值为0，标准差为1。

单变量分析简介单变量分析是指对单个变量进行分析，以了解其基本特征和分布情况。它可以帮助我们了解数据的基本性质，为后续的分析和建模提供参考。

数值型变量分析方法1直方图展示数据分布情况2箱线图描述数据的中位数、四分位数和异常值3密度图展示数据的概率密度函数

直方图的应用

箱线图解析

密度图的使用收入频率

描述性统计量平均数描述数据的中心位置中位数数据排序后位于中间的数值标准差衡量数据离散程度方差衡量数据波动性最小值数据中的最小值最大值数据中的最大值

分类变量分析方法1频率分布表展示不同类别出现的次数2条形图用条形高度表示不同类别的频率3饼图用扇形面积表示不同类别的比例

频率分布表类别频率百分比男性6060%女性4040%

条形图的应用

饼图的使用场景公司A公司B公司C公司D

双变量分析概述双变量分析是指对两个变量之间的关系进行分析，以了解它们之间的关联性、趋势和预测能力。

相关性分析方法1皮尔逊相关系数2斯皮尔曼秩相关系数3肯德尔秩相关系数

散点图的应用时间价格

热力图的使用北京上海广州深圳成都

列联表分析喜欢不喜欢男性5010女性3010

多变量分析技术1主成分分析（PCA）2因子分析3聚类分析4时间序列分析

主成分分析（PCA）PCA是一种降维技术，通过将多个变量组合成少数几个主成分，来解释数据的主要变异性。

因子分析因子分析是一种数据降维技术，用于识别数据中潜在的共性因素，并将多个变量归结到少数几个因子。

聚类分析简介聚类分析是一种无监督学习方法，将数据点根据相似性分组，以便识别数据中的自然结构。

K-means聚类K-means聚类是一种常用的聚类算法，它将数据划分成K个簇，每个簇都由一个中心点（质心）表示。

层次聚类层次聚类是一种基于距离的聚类算法，它将数据点按照距离的远近进行层次分组，形成树状结构。

时间序列数据分析时间序列数据分析是指对随时间变化的数据进行分析，以发现趋势、季节性和周期性等规律。

趋势分析方法1移动平均法2指数平滑法3回归分析法

季节性分析季节性分析旨在识别数据中随着季节变化而出现的周期性模式，例如每年夏季的销售额增长。

周期性分析周期性分析旨在识别数据中随着时间推移而出现的周期性模式，例如每月的销售额波动。

可视化工具介绍Python数据可视化库Matplotlib、Seaborn、Plotly等R语言可视化工具ggplot2、plotly、shiny等交互式可视化技术D3.js、Tableau、PowerBI等

Python数据可视化库1Matplotlib2Seaborn3Plotly

R语