2019年大数据分析的案例方法与挑战.docx

大数据分析的案例、方法与挑战 中山大学海量数据与云计算研究中心 黄志洪  2012.4 DTCC2012 数据分析者面临的问题 ? 数据日趋庞大，无论是入库和查询，都出现性能瓶颈 ? 用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高 ? 使用的模型越来越复杂，计算量指数级上升 ? 传统技能无法应对大数据：R、SAS、SQL 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 2 场景介绍 ? 信令监测是做什么的？ 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 体系架构 ? 数据库服务器：HP小型机，128G内存，48颗CPU，2节点RAC，其中一个节点用于入 库，另外一个节点用于查询 ? 存储：HP虚拟化存储，1000个盘 ? 入库节点 ? 入库方式——常规路径sqlldr ? 大量使用表分区设计 ? 数据量：每小时写入200G左右数据磁盘物理写大约 为450G每小时 问题：1 入库瓶颈 2 查询瓶颈 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 数据库设计 ? 物理上采用ASM ? 大表全部按时间分区，开始时按小时分区，但由于数据量庞大，后来改成15分钟分区 ，最后变成每分钟切换1个分区 ? 采用sqlldr方式入库 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 5 入库故障描述 ? 由于数据量太大，不得不同时启用多个处理机，产生了多个入库节点 ? 当入库节点分别增加到2节点和4节点以后，sqlldr出现停顿现象 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 AWR报告 ? 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 AWR报告 ? 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 AWR报告 ? 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 关于Buffer Cache 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 Latch 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 寻找Buffer busy wait的根源 ? Sqlldr和OCI方式同时insert ? 多个节点同时insert ? 解决办法 1 放弃使用OCI 2 对sqlldr进行垂直切分，尽量避免同时多进程插入同一张表 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 再看AWR 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 新的故障现象 ? Sqlldr依然有停顿，次数较为频密而持续时间较短 ? HWM冲突问题 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 关于HWM 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 针对HWM冲突的优化措施 ? 对于无法垂直切分的特大表，按照入库节点号作子分区 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 再看AWR ? HWM冲突已经被消除 ? Sqlldr频密周期性短暂停顿的问题依旧 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 最终问题根源 ? AWR报告的提示——文件头部竞争 ? 表空间大小与自动扩展是问题根源 ? 修正表空间设置后问题消失 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 18 备选方案——牺牲实时性换取直接路径插入 ?  直接路径插入有什么好处？ ? 为什么没有采用直接路径插入？ 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 19 备选方案——交换分区 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 20 备选方案——外部表 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 21 使用传统关系型数据库遇到的困难 ? All – in – one，并非专门针对数据分析设计和优化 ? 设计复杂，调优复杂，数据分析师兼任DBA ? 当数据规模增加时，需要扩展硬件，边际成本指数级上升，存在无法突破的物理瓶颈 中山大学海量数据与云计算研究中心 黄志洪  2012.4  DTCC2012 22 解决方案 ? 列式数据库，实时数据库等新的数据库技术 ? 分布式集群：Hadoop，NoSQL及其它分布