大数据架构混合部署系统.pptx

琥珀混合部署系统业务架构用户优势：1.方便核算产品的成本?2.用户爆发式增长，扩容流程简便。?微云QQ空间QQ相册产品3.业务逻辑清晰PC接 入缺点：1.产品核心链路要留手机接入PC接 入PC接 入接入层手机接入手机接入?有足够富余的buffer ，外加部分长尾业务，机器利用率低。2.节假日前后批量扩容与批量缩容，部分核心链路需要人工干预验证，浪费人力成本。业务逻辑业务逻辑业务逻辑 存储逻辑层存储层业务架构的优化思路 重新定义IP关系 核算成本 资源任意调度 资源充分利用(波峰填波谷)环境（docker）快速上下线 Storm集群 流量突增系统 长尾业务 部分非核心在 线业务Hadoop集群 转码业务 buffer 时段低负载核心内存存储案例1（资源任意调度）5案例2（资源充分利用）琥珀混合部署系统如何充分利用资源？琥珀系统架构 离线业务 Haproxy - (confd) Docker Buffer 环境 开发/运维/测试 Etcd 调度逻辑Clip(名字服务) 数据分析系统 cmdb 容量系统 IP- 名字服务低负载 | 长尾业务…琥珀架构细节工具优势Haproxy ?(负载均衡)支持8种负载算法，成本低廉，简洁的报表系统。Confd(一个轻量级配置管理工具)，它从?etcd，?consul，?dynamodb，?redis?zookeeper?或env获取最新的数据更新本地模板文件；Etcd(是一款高可用的键/储存储系统)简单、安全、快速、可靠Clip ?(名字服务系统)简化架构复杂度、见名识意Docker(容器)快速环境的部署；资源隔离15/10/27 Clip名字系统思路(/read.php?7) IP数字不容易记忆，所以聪明的人类发明了DNS。DNS把不容易记忆的数字，改为容易记忆的一串有规则的域名，域名又可以解析相应的IP，基于此思路，我们开发了近似DNS的名字服务系统。而在公司内部希望通过名字服务系统在cmdb基础之上把不同的业务(cpu、内存、磁盘和网卡)夹在一起，对于上层可以实现资源互补，对于下层可以方便核算业务成本。所以我们将这名字服务系统命名为“Clip”（夹子）。借鉴Puppet 借鉴DNSDNS借鉴DNS思路VS格式：IDC ?--‐ ?Product ?--‐ ?Modules ?--‐ ?Group–port示例：sh ?--‐ ?bu?er--‐ ?face ?--‐ ?group1 ?--‐ ?19941 SDK APIIP 思路结构Cstring| sacn|ssh|scp 解析IP对应string # clip cstring -i 87 sh-buffer-teg-weiyun_tag-28188 增|删|查 遍历string对应IP # clip cstring -q *-buffer-*-例借鉴DNS思路 sh-weiyun-access-group1-80 sh-qq-access-group1-80 sh-qzone-access-group1-80 sh-tags-low-cpu-80借鉴Puppet思路节点资源node /^(bj|sh)-mysqld-\d\.example\.com$/{ package { mysql-server: ensure = present， }}节点资源ctaskresenvversionnice?ag.mestampsh-tags-low-cpu-80100Hadoop--‐*0.0.1112015--‐10--‐24琥珀系统架构 String交互 容量系统 IP- 名字服务低负载 | 长尾业务… 离线业务 Haproxy - (confd)Docker(环境) Buffer IP交互 Etcd 调度逻辑Clip(名字服务) 数据分析系统 Cmdb核算成本? 资源审计：1.使用CPUACCT功能对每个业务的CPU使用时间进?行精确记录。2.使用Linux本身对cpu性能衡量的bogomips指标将? 相关业务消耗的CPU事件进行精确审计。??可得出最准确的业务资源消耗算法。??除准确的评估业务占用资源比例外，还可以帮助?业务提供优化建议，帮助业务进一步降低单请求的CPU消耗成本。15/10/27