2. NoSQL云存储开源产品介绍及测试分析实践.ppt

根据CAP特性选型 根据CAP原则，每类分布式系统只能满足CAP三类中的两者，所以需要确定业务系统需求最为迫切的两类属性，然后根据所确定的属性选择能够满足的数据库作为备选数据库的集合 任何分布式系统，只能满足CAP原则三者中的两点： Consistency（一致性） Availability（可用性）， Partition tolerance (分区容错性)； NoSQL数据库选型推导 Cassandra HBase MongoDB 技术分析 读性能 ☆☆☆ ☆ ☆☆☆ 影响读性能的技术很多 写性能 ☆☆ ☆☆☆ ☆☆ 影响写性能的技术很多，HBase写性能较好的原因是先直接写到内存再统一flush到磁盘 扫描性能 ☆☆ ☆☆☆ ☆☆☆ 利用连续范围分区技术的HBase和MongoDB扫描性能较好 扩展性和弹性 ☆ ☆☆☆ ☆ 增强主从式的HBase通过分布式锁及时发现节点增减并进行资源调度，扩展性好 高可用性 ☆☆☆ ☆☆ ☆☆ Cassandra是P2P架构，每个节点功能等同，无主节点和路由节点之分，不存在主节点单点问题 一致性 ☆☆ ☆☆☆ ☆☆☆ Cassandra和MongoDB利用锁技术实现强一致性 从典型业务场景通常关注的读写、扫描性能，扩展性，弹性，高可用性，一致性等方面重点分析，推导出NoSQL数据库选型的规则 结合系统选型的业务场景，基于性能、高可用性、一致性等方面的选型，确定最适合业务系统的备选数据库 业务场景+产品特性：NoSQL数据库选型 性能类选型原则: (P1) IF: 期望读写性能较为均衡；THEN: 选择Cassandra和MongoDB； (P2) IF: 业务系统为读操作频繁的应用；THEN: 选择Cassandra或MongoDB； (P3）IF: 业务系统为数据吞吐量较大的应用；THEN: 选择MongoDB； (P4) IF: 业务系统为插入操作很多但读操作很少的应用 ；THEN: 选择HBase； (P5) IF: 期望数据库自身有非常高的扩展性；THEN: 选择HBase； (P6) IF: 期望数据库保持强一致性; THEN: 选择关系型数据库、MongoDB或HBase； (P7) IF: 对高可用性有非常高的要求；THEN: 优先选择P2P架构的 Cassandra (P8) IF: 数据类型较灵活、数据结构复较杂；THEN: 选择MongoDB； (P9) IF: 希望原生提供对MapReduce的支持；THEN: 选择MongoDB或HBase； (P10) IF: 需要系统提供较强的管理维护功能；THEN: 选择MongoDB或Cassandra。 管理信息系统选型的建议： 对于以归档和读取为主、存储规模较大的系统应用（如网上大学、数字档案等）： 业务系统主要是读操作频繁的数据操作(P2); 数据吞吐量很大，特别是集中到一个较短的时间段内(P3); 建议选择MongoDB数据库； 对于读写操作较为均衡的核心应用（如ERP等）： 系统读写操作较为平均，希望性能较为平均(P1); 考虑到读写的交替和并发性，希望保持较高的数据一致性 (P6)；建议选择MongoDB数据库； 谢 谢！QA * * 三种纯操作场景和两种混合场景 测试内容 测试项目 测试内容 MySQL Voldemort Cassandra MongoDB HBase 基本功能测试 总结各系统的功能列表（数据定义、数据操纵、数据控制、管理维护、功能特性和接口） 基本性能测试 测试全读场景下系统的性能表现 测试全插入场景下系统的性能表现 测试全更新场景下系统的性能表现 测试在读频繁的场景下系统的性能表现 测试在更新频繁的场景下系统的性能表现 扩展性测试 测试读频繁场景下稳定状态下的系统线性扩展的能力 测试更新频繁场景下稳定状态下的系统线性扩展的能力 弹性测试 测试系统在线服务的同时动态扩展节点的能力 健壮性测试 测试管理节点宕机对集群的影响 测试数据节点宕机对集群的影响 测试路由节点宕机对集群的影响 测试分布式同步节点宕机对集群的影响 一致性测试 测试系统集群节点的同步时间，评估系统一致性 测试内容 测试环境和平台 基于西门子中国研究院RD云数据中心的云存储环境，提供了超过100个节点（虚拟机）的分布式计算/存储环境，100T左右的数据存储资源； 每类典型NoSQL数据库系统配置12个节点进行系统部署和测试；存储采用本地存储（Local Disk、DAS）和集中存储（SAN）相结合的方式，为每类NoSQL数据库提供数据存储空间； 网络使用12个虚拟机共享使用4个千兆网卡，物理机以千兆网卡相连； 测试环境 ： 每种数据库有12个虚拟机节点,独立的测试客户