亚马逊AWS 离线及在线数据实时分析解决方案及最佳实践.pdf

AWS 游戏分析工具最佳实践 EMR Kinesis 邓明轩（Damon Deng ）– 解决方案架构师 June 26, 2015 | ShenZhen © 2014 A, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of A, Inc. 内容 • 游戏运营数据分析面对的挑战 • 离线数据分析 • 在线数据分析 • AWS 游戏数据分析参考架构 我们需要分析什么数据？ •游戏关键指标数据 –玩家在线数、活跃数 (DAU/MAU)、新增数、付费用户、付费率、付费金额、 ARPU 、留存率、回访率 •用户行为数据 –显性数据：与服务器端发生交互的数据：级别，升级速度，战斗数据等 –隐性数据：不与服务器端交互的客户端行为：手势热点，页面停留时间等 数据分析方法 •离线分析 •在线分析 •交互查询 离线分析 交互查询 在线分析 数据分析面对的挑战 面对的问题：数据量 数据源 数据量 • 移动设备 • 一个事件记录 ~ 1 KB • 服务器 • 500M+ 事件每天 • 其它平台 • 500G+ 数据每天 • JSON 格式 数据分析过程 收集 存储 分析 展现 在线数据分析过程的挑战 收存分展 集储析现 数据收集与存储 数据收集：简单方式 游戏数据库 游戏服务器 LAMP 分析数据库 数据收集：改进架构 游戏数据库 游戏 Sink 服务器 Sink Flume Collectors MPP 数据仓库 数据收集：托管架构 Kinesis Producer Or 第三方插件：Flume-Kinesis pl