AI芯片应用开发实践：深度学习算法与芯片设计 第三章 数据预处理.ppt

异常值在数据分析中可能引入误导性的结果,解释异常值的检测和处理应该采取的策略并说明原因。问题二重复数据可能对分析结果产生偏差，分析删除重复数据是否是合适的方法，并说明是否有其他替代方案吗？问题三分类数据转换为数值数据是数据预处理中的重要步骤，讨论两种常用方法的优缺点，以及在何种情况下应该选择哪种方法？问题四数值特征缩放对于某些机器学习算法的性能至关重要，常用的缩放方法有哪些优缺点?在什么情况下使用哪种方法更为合适?问题五特征选择是建模过程中的重要步骤，分析选择具有什么样特性的特征能够更好地影响模型性能，并举例说明。问题六在处理维度较低的特征空间时。常用的技术有哪些优势和劣势?它们适用于什么样的数据集?问题七数据预处理中的第一步是数据清洗，分析数据清洗的重要性体现在哪些方面，并举例说明问题八缺失值是数据处理中常见的问题，常用的填充方法有：均值填充：用均值填充数值型数据，适用于数据分布对称且缺失值较少的情况，但可能引入偏差。中位数填充：用中位数填充数值型数据，适用于数据有偏或存在异常值的情况，对异常值更为鲁棒。众数填充：用众数填充类别型或离散型数值数据，适用于某类别频率较高时。前向填充：用前一个已知值填充时间序列数据，适用于有顺序关系的数据。后向填充：用后一个已知值填充时间序列数据，适用于有顺序关系的数据。常数填充：用预定义常数值填充缺失值，适用于对数据分析结果影响不大的情况。K近邻填充：用最近邻样本均值填充，适用于数值型或类别型数据，但计算开销较大。回归填充：用回归模型预测缺失值，适用于数据间存在线性或非线性关系时，但计算量大。多重插补：生成多个填充数据集并合并结果，适用于缺失值较多且需考虑不确定性的情况。插值法：用插值算法填充连续型数据，适用于有趋势的时间序列数据。模型填充：用机器学习模型预测填充，适用于多特征间有非线性关系的复杂数据。问题一异常值是与其他数据点显著不同的观测值，可能扭曲数据分析结果。检测和处理异常值是数据预处理中的重要步骤。常见的异常值检测方法有：统计方法：箱型图：通过四分位距(IQR)识别异常值，适用于一维数据。Z-score：标准化差异，超出3倍标准差的值为异常，适用于正态分布数据。正态分布的概率密度：基于正态分布的假设，适用于符合正态分布的连续数据。图形方法：散点图：直观展示数据点，适用于两个变量之间的关系。密度图：查看数据分布密度，帮助发现低密度区域的异常值。基于模型的异常值检测：孤立森林：通过分割数据集检测异常，适用于大规模和高维数据。LOF：计算局部密度来识别异常，适用于密度变化大的多维数据。常见的异常值处理方法包括：删除法：删除含异常值的样本或特征，适用于异常值少且删除不影响数据集时。替代法：用合适的值填补异常值，适用于偶尔出现的错误值。变换法：对数据进行变换减少异常值影响，适用于偏态分布数据。修正法：将异常值限制在某一范围内，防止其过度影响模型。分箱法：将连续数据分箱，适用于无法通过简单规则检测异常值的数据。问题二删除重复数据的优缺点

优点：简化分析：减少冗余数据，保持数据简洁一致。提高模型准确性：消除录入错误或数据采集问题带来的噪音，避免影响模型学习。减少计算负担：减少冗余数据对计算的影响，提升效率。缺点：可能丢失重要信息：某些情况下重复数据有意义，删除可能丧失关键特征。不解决根本问题：删除未必能解决数据收集中的系统性错误。删除重复数据是否合适？输入错误：若重复数据来自输入错误，删除合适。重复数据有意义：如反映真实情况，需根据分析需求处理，避免删除。影响模型训练：若重复数据导致过拟合，可删除。影响统计分析：若影响统计结果，删除为合适选择。替代方案：聚合重复数据：按特征分组，应用聚合操作（如求和、均值等），保留核心信息。标记重复数据：添加标记区分重复项，保留数据便于后续分析。使用加权方法：对重复数据加权，减少其对分析结果的影响。利用模型筛选重复数据：通过机器学习模型识别并处理重复数据，适用于大规模复杂数据集。问题三分类数据转换方法：标签编码与独热编码标签编码（LabelEncoding）方法：将每个类别分配一个唯一的整数值。优点：简单高效，节省内存；适用于有顺序关系的类别。缺点：假定类别之间有顺序关系，可能导致模型误解无序类别的关系。适用场景：有序类别数据（如教育水平）；类别数量较少。问题四独热编码（One-HotEncoding）方法：为每个类别创建一个新的二进制特征列。优点：适用于无顺序关系的类别；防止模型误解类别之间的大小关系。缺点：维度膨胀，增加计算复杂度；生成稀疏矩阵，可能导致存储问题。适用场景