《QCon上海二零一六-基础设施建设实战：云之大数据平台架构设计-周小四》.pdf

云之大数据平台架构设计 周小四 / Ray Zhou Agenda  云计算与大数据  系统架构  挑战  数据格式 云计算与大数据 Big Data Requires Elastic, Flexible Infrastructure  大数据解决方案最大、最重要的决定是平台的选择  Hadoop, Spark, HBase...  实际需求  实时处理、离线处理、结构化数据、非结构化数据、CRUD、事务性 、数据量大小...  平台的能力  能满足实际需求的平台才是好平台  不确定性  Relative scale, not absolute scale  The world is changing! 云计算与大数据 Don’t try to do it yourself. Let us handle it.  自动化运维 稳定  一键部署 高性  API调用 能  定时器 完整  Auto Scaling 安全  弹性、敏捷、灵活  纵向、横向伸缩 自动 化  分钟级别 按需  稳定、高性能与安全  系统优化，平台配置优化 开放  私有网络，防火墙 易用  高度自动化是一个渐进的过程 系统架构 Reporting, Visualization Cassandra, MongoDB, Redis, MySQL, ElasticSearch Real Time Batch Big SQL Processing Processing Storm Spark SparkSQL Monitoring Alarm Logs Spark Metering Phoenix Metrics Streaming MapReduce Security Social Custom Governance Data Kafka Process Hive (ZooKeeper) Sensor