华为公司计算机大数据解决方案.pdf

应用不动 性能翻番 数据库闪存加速器 HUAWEI TECHNOLOGIES CO., LTD. 目录 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 2 大数据时代已经来临 大型机 个人电脑 互联网 移动互联网 大数据 一个大规模生产、分享和应用数据的时代正在开启…... ——肯尼思·库克耶（ 《大数据时代》作者 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 3 从基因分析看大数据 基因测序 基因分析 导入速度快 分析效率高 数据共享 数据保存 共享速度快 保存容量大 基因分析是对大规模基因数据生产，共享，分析和保存的过程，是典型的大数据处理流程。 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 4 知易行难，基因分析机构CIO的大数据困局 基因测序 基因数据共享 基因数据分析 1. 一份数据存储3次 ，浪费 空间2/3 基因样本 基因数据拷贝 基因数据拷贝 2. 一份数据拷贝2次 ，浪费 测序仪本地硬盘 共享NAS存储 Hadoop存储 时间2倍 基因数据保存 基因保存系统 为什么会这样 ？ 没有一种存储能完美适应大数据处理各个环节 测序仪本地存储 共享NAS存储 Hadoop存储 快速存取 √ X √ 对接分析 X X √ 数据共享 X √ X HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 5 诸多行业大数据处理过程相似，面临同样的困局 从中分辨率到超高分辨 标清到高清 ，码率提升 二维到三维 ，精度提升 每天处理2千万笔交易， 率 ，精度提高近100倍 ， 4~8倍 ，数据量提升10 数十倍 ，数据量提升20 数据保存期不低于15年 ， 数据量提升100倍 倍 ，总容量超过10PB 倍 ，效率提升数十倍 总量超过10PB