分布式计算调度系统的技术与实践.pptx

NORMANDY 分布式计算调度系统技术与实践 系统对标 | 取长补短 图片来源omega论文 现状| 庞然大物 p近4W台高性能计算机器 p10W台MR计算机器 p近15W台在线机器 p天级别上百万作业 现状 | 资源需求不均衡 CPU MEM 问题 | 资源利用率低，阻碍业务发展 p机器规模庞大 p各计算平台独立，多维资源利用率低 p志愿计算无法有效降低离线机器预算 p资源割裂，无法满足业务快速发展需求 解决方案 | 统一服务调度系统 • 计算唯一入口 • 既是系统又是生态 分布式架构| 稳定、高效 Normandy调度端架构 | 简约、灵活 调度支持 p虚拟化交付，资源审计 p百度自研rpc系统Giano权限控制系统 p内置丰富的调度算法支持，best fit，next fit， capacity，fair share，drf等 p物理队列、逻辑队列、抢占、预留、plugin作业、队 列优先级等丰富的辅助调度功能 plib raft灾备系统 Normandy单机架构 | 简约、灵活 单机支持 p成熟的单机隔离技术 p丰富的磁盘管理（Cache管理，log管理） p单机资源监控（丰富的展示界面） p支持多样的扩展逻辑（NFS，shuffle等） p命令队列，状态缓存 独有功能 支持多种计算模型混合调度 支持跨IDC调度业务运算 抽象接口，可定制化调度算法 拥抱社区，兼容Yarn 强大的dce shuffle版MR技术 超大规模自建设机房 愿景 | 诗和远方 加速业务 迭代创新 百度私有 云调度神 经系统 定制化智 能调度算 法 结束 | 谢谢 QA