甲骨文大数据实训实践.doc
文本预览下载声明
PAGE15
甲骨文大数据实训
一、实践目的
数据处理在于数据分析中是最重要的一步,其相关的工作时间占据了一个项目的70%以上。数据的质量,直接决定了模型的预测和泛化能力的好坏。它涉及很多因素,包括:准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中,我们拿到的数据可能包含了大量的缺失值,可能包含大量的噪音,也可能因为人工录入错误导致有异常点存在,非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理,得到标准的、干净的、连续的数据,提供给数据统计、数据挖掘等使用。
数据预处理的主要步骤分为:获取数据、清洗数据、数据抽取及合并、计算数据、数据类型转换、
显示全部