3.2Python 数据清洗电子课件.pdf
大数据财务分析
主讲：谢畅
爱岗敬业诚实守信坚持准则提高技能
廉洁自律客观公正参与管理强化服务
项目三数据清洗与处理
任务二Python数据清洗
Python数据清洗
一、重复值处理
对于重复值的处理，首先可以先检验是否存在重复值，然后再将重复值删
除。
Pandas提供了两个专门处理重复值的函数，分别是duplicated()函数和
drop_duplicated（）函数.
duplicated():查找重复项
drop_duplicates()：删除重复项
爱岗敬业诚实守信
Python数据清洗
一、重复值处理
duplicated()函数：用于查找重复值，返回布尔值，将重复项标记为True,
非重复项目标记为False.
DataFrame.duplicated(subset=None,keep=‘first’)
Subset:根据特定列识别重复项，默认使用所有列
Keep:确定要标记的重复项，可选’first’、’last’、False，默认
为’first’,表示标记除第一次出现的重复项，’last’表示标记除最后一次
出现的重复项，False表示标记所有重复项。
爱岗敬业诚实守信
Python数据清洗
一、重复值处理
drop_duplicates（）函数：返回删除重复行的DataFrame.其语法如下：
DataFrame.
drop_duplicates(subset=None,keep=‘first’,inplace=False,ignore_in
dex=False)
Subset:根据特定列识别重复项，默认使用所用列
Keep:确定要保留的重复项，可选可选’first’、’last’、False，默认
为’first’,表示保留第一次出现的重复项，’last’表示保留最后一次出现
的重复项，False表示删除所有重复项。
Inplace:默认为False,True表示直接在原数据上删除
ignore_index：重建索引，默认为False.
廉洁自律客观公正
Python数据清洗
一、重复值处理
duplicated()和drop_duplicates（）函数判断标准和逻辑是一样的，在数
据清洗时，可直接使用drop_duplicates（）函数来处理重复值。
廉洁自律客观公正
Python数据清洗
二、缺失值处理
和重复值的处理一样，在处理缺失值之前可以先检验缺失值数量，然后根据
数据分析要求，选择以下常用方法进行处理：
（1）删除数据：根据缺失比例删除行、列；
（2）使用默认值填充：可用空字符串或数值0替换；
（3）使用估算值填充：采用中位数、平均数、众数等替换；
处理缺失值的函数如下：
dropna()函数：删除缺失值
Fillna()函数：使用指定的方法填充NA/NaN值。
坚持准则提高技能
Python数据清洗
二、缺