《通信数据分析与实战》课件——第九章 综合案例-Spark 实时交易数据统计.pptx

通信数据分析与实战综合案例-Spark实时交易数据统计第九章第1节

2知道系统案例的目的熟悉系统平台的架构学习目标TARGET

系统概述双十一是每年11月11日的电商促销活动，近几年年最终24小时总成交额为2000亿以上。现场庆典中，成交额在大屏幕中实时刷新展示，这就用到了数据可视化技术，数据可视化是借助于图形化手段，将数据库中的每条数据以图像形式展示在前端页面，清晰有效地传达交易信息。

系统平台架构设计

系统预览

6小结知道系统案例的目的熟悉系统平台的架构

通信数据分析与实战综合案例-Spark实时交易数据统计第九章第2节

8掌握Redis的安装和启动掌握Redis的常用操作学习目标TARGET

Redis概述Redis是使用C语言开发的一个开源的高性能键值对数据库，它通过提供多种键值对数据类型适应不同场景下的存储需求，到目前为止，Redis支持键值对数据类型，分别是字符串数据类型（String）、哈希（Hash）、列表（List）、集合（Set）以及有序集合（Zset）五种。Redis作为内存数据库，性能非常出色，官方数据显示，Redis每秒可处理超过十万次读写操作，

Redis安装1下载Redis安装包，redis-3.2.8.tar.gz版本。2编译Redis源码，并修改redis.conf配置文件。3执行“./redis-server./redis.conf”命令，启动Redis服务端，

Redis安装1下载Redis安装包，redis-3.2.8.tar.gz版本。

Redis安装1上传到hadoop01的/export/software解压到/export/servers。cd/export/softwarerz

tar-zxvfredis-3.2.8.tar.gz-C/export/servers/

Redis安装2编译Redis源码，并修改redis.conf配置文件。#由于Reids是C语言开发,所以安装的时候需要进行源码编译,编译依赖于gcc环境

yuminstallgcc

#进入安装目录cd/export/servers/redis-3.2.8/makemakePREFIX=/export/servers/redisinstall

Redis安装2编译Redis源码，并修改redis.conf配置文件。

#复制redis.conf配置文件cpredis.conf/export/servers/redis/bin/

#修改配置文件cd/export/servers/redis/bin/viredis.confbind34

Redis安装3执行“./redis-server./redis.conf”命令，启动Redis服务端，

Redis常用操作方法名称相关说明hset(key，field，value)向名称为key的hash中添加元素fieldhget(key，field)返回名称为key的hash中field对应的valuehincrby(key，field，integer)将名称为key的hash中field的value增加integerhexists(key，field)名称为key的hash中是否存在键为field的域hdel(key，field)删除名称为key的hash中键为field的域hlen(key)返回名称为key的hash中元素个数

17小结掌握Redis的安装和启动掌握Redis的常用操作

通信数据分析与实战综合案例-Spark实时交易数据统计第九章第3节

19掌握搭建项目结构学习目标TARGET

模块开发-构建工程结构1.创建Maven工程

模块开发-构建工程结构2.项目资源结构

模块开发-构建工程结构3.添加相关依赖添加spark-core、scala、spark-streaming、spark-streaming与kafka整合、Kafka、Jedis、spring以及Jsp、Json数据转换工和WebSocket的Jar文件。

模块开发-构建工程结构4.添加Web.xml文件

24小结掌握搭建项目结构

通信数据分析与实战综合案例-Spark实时交易数据统计第九章第4节

26熟悉订单数据掌握向Kafka发送数据学习目标TARGET

模拟订单数据订单数据模型通常由订单编号、订单时间、商品编号、商品价格等数十个字段组成。

模拟订单数据订单的数据格式orderId:b030e0dfb3b04cd18c3b32beac01ab25,productId:6,“productPrice:834}

模拟订单数据1.创建Kafka生产者对象利用KafkaAPI创建生产者对象，设置Kafka