美柚混合云架构与大数据服务实践.PDF

美柚混合云架构与大数据服务实践 黄益聪, 美柚 目录 美柚简介 混合云架构 大数据智能挖掘 经验分享 2 About 美柚 • 国内排名第一的女性app ，“2015中国最具投资价值企业50强” • 美柚女生助手、柚宝宝孕育、柚宝宝时光、柚子街、美柚瘦身 • 截至2015年7月，美柚用户超过1亿，日活跃用户500万 • 一站式综合服务：社区+工具+电商 • 满足女性群体交流沟通、知识获取、购物三大需求 让女性更美，更健康！ 混合云 托管机房 • 300+服务器 • Hadoop, Storm, Spark, Kylin • MySQL, MogoDB, Redis, CounchBase • Java, PHP, Python, Node.js 阿里云 • ECS • MaxCompute （原ODPS ，在御膳房使用） • RDS • 分析型数据库（原ADS ） • TAE • 阿里云盾（DDoS高防IP ） • 其他：DataV （数加）, E-MapReduce 服务分布 托管机房 阿里云 App接口 官网 社区（她她圈） 广告系统 电商（柚子街） 用户中心 柚币中心 BI 运营后台 大数据 基础服务 大数据 数据流 托管机房 阿里云 业务日志/数据库 ODPS 数据库/实时数仓 RDS ADS 阿里云：处理大规模数据计算，算法模型训练，部分数据结果回流托管机房 • ODPS ：存储量41TB ，每日同步100GB （gz压缩文件） • RDS ：存储量125GB ，每日同步5GB ，部分数据回流 • ADS ：存储量1TB ，每日同步310GB 托管机房: 处理实时数据计算与增量回流数据 • 实时数仓-Kylin • 流式计算/增量计算-storm, spark • 离线计算Hadoop 重要数据双活，小时同步 API实时监控 使用阿里云盾DDoS高防IP 自研API实时监控系统 • 全链路实时监控服务质量，保证用户极致体验 • 移动端Android/iOS实时业务监控与预警 大数据智能挖掘 用户 社区/服务 大数据智能 社群电商