Flink技术在电商实时数据仓库系统中的应用与实现.docx

Flink技术在电商实时数据仓库系统中的应用与实现

目录

一、内容描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2电商行业数据挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3实时数据处理技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.4Flink技术简介．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.5本文研究内容与结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

二、相关技术理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1大数据技术架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.1.1Hadoop生态系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.1.2Spark生态系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.2数据仓库基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.2.1数据仓库定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.2.2数据仓库模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.3流处理技术发展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.3.1流处理vs批处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.3.2流处理关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.4Flink核心特性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

三、Flink在电商实时数据仓库中的架构设计．．．．．．．．．．．．．．．．．．．30

3.1系统整体架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

3.2数据源接入层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

3.2.1用户行为数据采集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

3.2.2商品交易数据采集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

3.2.3用户画像数据接入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

3.3数据处理层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.3.1实时数据处理流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

3.3.2转换与聚合操作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.3.3窗口函数应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.4数据存储层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

3.4.1数据存储选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.4.2数据写入策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.5数据应用层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

3.5.1实时报表系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

3.5.2用户行为分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

3.5.3推荐系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

四、Flink关键技术在系统中的应用实现．．．．．．．．．．．．．．．．．．．．．．．62

4.1数据采集与接入实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．64

4.1.1Kafka数据源配置．．．．．．．．．．．