基于社交网络的大数据分析系统构建与应用研究.docx

基于社交网络的大数据分析系统构建与应用研究

目录

一、内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2.1国外研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2.2国内研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1.5论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

二、社交网络数据分析理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.1社交网络的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1.1社交网络模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.1.2用户与关系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.2社交网络数据特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.2.1数据类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.2.2数据规模与增长．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.3社交网络数据分析方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.3.1用户行为分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.3.2信息传播分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.3.3社区结构分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.4大数据处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.4.1分布式计算框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

2.4.2数据存储与管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

三、基于社交网络的大数据分析平台架构设计．．．．．．．．．．．．．．．．．37

3.1系统总体架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.1.1分层架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

3.1.2模块划分．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.2数据采集与预处理模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

3.2.1数据源选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3.2.2数据采集策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.2.3数据清洗与整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.3数据存储与管理模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.3.1数据存储方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

3.3.2数据索引与查询．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.4数据分析引擎模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.4.1分析算法设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

3.4.2可扩展性设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.5数据可视化与展示模块．．．．．．．．．．．．．．．．．．．．．．．．．．．