《QCon上海二零一六-高性能数据分析平台架构实践：SequoiaDB Power Linux-孔皓》.pdf

2015-10-15 2015-10-15 高性能数据分析平台架构实践： SequoiaDB+PowerLinux 作者：孔皓 新型分布式数据库 高性能硬件平台加速大数据应用 Spark on PowerLinux之优化方案 数据分析平台案例 新型分布式数据库 数据库领域的挑战者 大数据时代来临拥抱新型数据库Nosql  在过去的很长一段时间中，关系型数据库（Relational Database Management System ）一直是最主流的数据库解决方案，他运用真实世 界中事物与关系来解释数据库中抽象的数据架构。然而，在信息技术爆 炸式发展的今天，大数据已经成为了继云计算，物联网后新的技术革命， 关系型数据库在处理大数据量时已经开始吃力，开发者只能通过不断地 优化数据库来解决数据量的问题，但优化毕竟不是一个长期方案，所以 人们提出了一种新的数据库解决方案来迎接大数据时代的到 来——NoSQL （非关系型数据库）。 8 新一代分布式数据库特点  存储模式灵活简单：无需设计表结构和操作模式  性能更优：面对大数据的需求，性能优势明显  分布式水平扩展：容量动态扩展，大大节约存储成本  高可用：在不影响性能的前提下，架构更灵活  大数据架构支持：新一代分布式数据库完全的支持Hadoop/Spark等等主 流的大数据架构，对于大数据的应用支持更全面 国内新一代分布式数据库代 9 表——SequoiaDB 国内新一代分布式数据库代 表——SequoiaDBSequoiaDB （巨杉数据库）是一款分布 式文档型NoSQL数据库，是业 界唯一支持事务和SQL的产品。 SequoiaDB既可作为Hadoop与 Spark的数据源以满足实时查 询和分析的混合负载，也可 独立作为高性能、灵活易用 的数据库被应用程序直接使 用。 SequoiaDB是大数据应用首选 SequoiaDB 存储架构 SequoiaDB 目前的架构使用的是典型的MPP架构，编目节点存储元数据， 协调节点负责分布式系统的任务分发，数据节点负责数据存储和操作。 数据节点可以动态的扩容。架构图如下： SequoiaDB作为 “数据湖”可以连接两个世界 JSON文档的存储方式，适用于所有的结构化、非结构化和半结构化的数据。存储上， 能将数据进行统一的存储。而SequoiaDB 对SQL还有多个大数据架构的完美支持，能够 成为连接两种不同的数据操作方式的桥梁。 高性能硬件平台加速大数据应用 PowerLinux高性