分布式系统工程实践_taobao.pdf

分布式系统工程实践 杨传辉 日照@淘宝 V 0.1 2010-10 分布式系统工程实践1 1 引言3 2 基础知识3 2.1 硬件基础4 2.2 性能估算4 2.3 CAP 6 2.4 一致性模型7 2.5 NOSQL 与SQL 9 2.6 Two-Phase commit10 2.7 Paxos 11 3 关键技术实现12 3.1 网络编程框架12 3.2 HA 与Replication13 3.3 分裂14 3.4 迁移15 3.5 负载均衡16 3.6 Chubby 16 3.7 分布式事务17 3.8 Copy-on-write 与Snapshot 17 3.9 操作日志与checkpoint 19 3.10 列式存储与压缩19 4 通用存储系统分类20 5 典型存储系统工程实现21 5.1 单机存储引擎21 5.1.1 随机访问存储引擎21 5.1.2 通用存储引擎22 5.1.3 单机存储优化23 5.2 SQL 数据库23 5.3 线上最终一致性系统24 5.4 线上弱一致性系统26 5.5 半线上及线下系统29 5.5.1 两层结构29 5.5.2 GFS30 5.5.3 Bigtable31 6 通用计算系统分类32 7 典型计算系统工程实现33 7.1 MapReduce Offline 33 7.2 Online 计算34 7.2.1 流式计算34 7.2.2 并行数据库的SQL 查询35 7.2.3 数据仓库复杂查询36 8 应用38 8.1 电子商务类38 8.2 搜索类38 8.3 社交类39 8