NineData（叶正盛）：NineData数据复制技术原理与实践跨云10000公里实时数据复制.docx
NineData数据复制技术原理与实践
跨云10000公里实时数据复制
演讲人：叶正盛
NineData创始人CEO
叶正盛
NineData创始人CEO
?资深数据库与云计算领域专家
?曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委
员会核心成员。
?阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员
?构建阿里巴巴蚂蚁集团数据库DevOps体系
?创立了云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服
务DAS等多款云计算数据库产品
3
目录
CONTENTS
?
数据库与数据复制简介数据复制场景与挑战
NineData架构与技术实践NineData实践案例
数据库与数据复制简介
5
数据库系统分类大图
强
强
OCEANBAS三
llclickHouseDr
llclickHouse
SQL
?elasticsearc
?elasticsearch
chroma
弱
弱
大小
大
数据库与生态产品
数据库DevOpsSQL
数据库DevOps
SQLIDE、CI/CD、性能优化、安全
NineData、Navicat、Yearning
数据迁移、同步、ETL、订阅、分享
DTS、NineData
数据库引擎
Oracle
MySQL
PolarDB
MongoDB
Clickhouse
…
BI数据分析、
BI
数据分析、挖掘、大屏
PowerBI、帆软
资源调度、安装配置、备份恢复、监控告警、HA
RDS
数据复制核心场景与挑战
8
数据复制场景
北京数据迁移上云、国产化、容灾/只读实例、ETL
北京
远距离实时数据传输(迁移/同步/备份)全球业务东数西算杭州
远距离实时数据传输
(迁移/同步/备份)
全球业务
东数西算
杭州
数据迁移、上云
IDC
云厂商数据库（兼容MySQL）
同版本、跨版本、远程网络不通、不停机迁移
ETL
OLTP-OLAP
转换映射过滤
转换映射过滤聚合
…
异构转换、远距离、实时同步
数据容灾、只读实例
北京（A云）本地异构实时复制
北京（A云）
本地异构实时复制
只读实例
远程实时复制
上海（B云）
容灾实例
挑战：异构转换、远距离、实时同步、跨云
数据库国产化
商业数据库国产数据库、开源数据库
应用适配数据迁移复制
应用适配
数据迁移复制
数据库引擎选型
数据复制挑战
云厂商往往“宽进严出”，对其他厂商的支
云厂商往往“宽进严出”，对其他厂商的支持不足或功能非常简单，不满足用户需求，特别是在网络互联及通信案例上鲜有考虑。
数据流动
数据复制高度依赖数据库的参数配置、用户权限、版本等因素，不同数据库类型还涉及到结构转换与数据类型转换，极容易出错。
面临多重困难
两端业务分别使用数据非常可能造成数据不一
两端业务分别使用数据非常可能造成数据不一致以及冲突从而导致数据链路中断，如何快速发现以及修复是数据复制必需要考虑的事情。
在跨地域或跨境同步时,会面临各种网络状况，如何保证长链路的情况下数据稳定同步是一个非常困难的问题。
市场主要技术产品优势与不足
市场技术产品
优势
不足
Kettle、DataX
全量数据复制
不支持DDL和实时复制
Canal
MySQL日志解析
不支持非MySQL数据库发展较慢
云DTS/DRS/DMS
重点支持自家数据库
IDC自建数据库、跨云、异构转换比较弱
GoldenGate
重点支持Oracle-Oracle
其他数据库较弱，贵
NineData数据复制：国产化、多云多源、实时、云原生
NineData设计架构
16
NineData云原生智能数据管理平台
数据开发BI开发业务运营应用开发者DBA系统管理
数据仓库/大数据平台数据复制SQLIDE结构迁移全量数据DDL同步数据对比断点续传增量数据ETL
数据仓库/大数据平台
数据复制
SQLIDE
结构迁移
全量数据DDL同步数据对比断点续传
增量数据
ETL
增量对比
可观测干预
应用消息队列
实时同步
结构对比
高性能
数据库DevOps
开