数据处理调研ppt终.ppt

小组成员：丁群智、杨奎、胡杨、周旋 D ata-processing 关于数据处理的调研报告 目 录 1、数据处理的定义 2、数据处理的工序 3、数据处理的流程 4、数据处理的结果呈现 5、大数据的处理 6、总 结 一、数据处理的定义 数据处理是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据的过程。 数据处理是系统工程和自动控制的基本环节。 取自MBA百科 二、数据处理的工序 2.1数据处理的方式 为了对繁杂的数据进行提取，那就要对数据进行清洗、建模、分析、最 终得到用户所想要的可视化数据结果。 可视化结果 第一维度 第二维度 数据存储层 数据报表层 数据分析层 数据展现层 用户级 部门级 企业级 BI级 在多个领域和行业，由于数据处理的工具软件较多，所以将数据处理应用到的软件工具分为两个维度进行交叉认识。 2.2数据处理的工具 企业级 个人级 部门级 企业级 BI级 数据库 MySQL SQL Server Data Warehouse Access03 Access2007 Access2010 DB2 ORACLE 存储数据，需要掌握的是数据库技术。 2.2.1 数据存储层 Excel 微软公司旗下最常用最基础的数据分析软件 Clementine 强大的建模工具，与SPSS统计功能有了更多的整合，数据处理也更加灵活和好用。（已被SPSS公司收购） SPSS 是世界上最早的统计分析软件，现在已经成为了预测分析软件。 SAS 相对SPSS其实功能更强大，且SAS是平台化的。 R语言 用于统计分析、绘图的语言和操作环境。属于GNU系统的一个自由、免费、源代码开放的软件。 Stata 提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。 社会网络分析软件 是非常流行和有价值的分析工具和方法，特别是从关系角度进行分析社会网络，关系分析非常重要。 2.2.2 数据分析层 2.2.3 数据报表层 Crystal Report水晶报表，Bill报表 Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件。 2.2.4 数据展现层 有时候我们把数据库就用来进行报表分析，有时候报表就是分析，有时候分析就是展现；当然有时候展现就是分析，分析也是报表，报表就是数据存储了。 数据采集 数据采集，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。 数据采集系统是数据采集结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。 三、数据处理的流程 3.1数据准备阶段 3.2数据建模 数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。 数据建模大致分为三个阶段，概念建模阶段，逻辑建模阶段和物理建模阶段。 3.3数据处理阶段 （1）数据录入: 录入所需的信息。 （2）数据转换：把信息转换成机器能够接收的形式。 （3）数据分组：指定编码，按有关信息进行有效的分组。 （4）数据组织：整理数据或用某些方法安排数据，以便进行处理。 （5）数据计算：进行各种算术和逻辑运算，以便得到进一步的信息。 （6）数据存储：将原始数据或计算的结果保存起来,供以后使用。 （7）数据检索: 按用户的要求找出有用的信息。 （8）数据排序：把数据按一定要求排成次序。 计算机数据处理是用计算机收集、记录数据，经加工产 生新的信息形式的技术。 主要包括 8个方面 3.4数据分析阶段 数据分析 ：是指用适当的统计方法对收集来的大量第一手资料和 第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。 典型数据的分析步骤： （1）探索性数据分析，当数据刚取得时，可能杂乱无章，看不出 规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 （2）模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 （3）推断分析，通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 3.5数据输出阶段 数据输出 ： 计算机对各类输入数据进行加工处理后，将结果以用户所要求的形式输出。 四、数据处理的结果呈现