基于图计算模型的矩阵分解并行化研究-电子与通信工程专业论文.docx

万 万方数据 学位论文版权使用授权书 本学位论文作者完全了解浙江理工 大 学有权保留并向国家有关 号:丁或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅. 本人授权浙 江理工 大学可以将学位论文的全部或部分内容编入有关 支据库进行检索和传播 ，可以采用影印 、 缩印或扫描等复制手段保 存、汇编学位论文。 (保密的学位论文在解密后适用本授权书) 学位论文作者签名 : 钱也忽 签字日期 : -:0冯 年 j 月 26 日 导师签名: 签字叫: ojo/b 年 f 月 活 日 浙江理工大 浙江理工大学硕士学位论文 基于图计算模型的矩阵分解并行化研究 摘 要 随着计算机和信息技术的不断普及应用，行业应用领域计算系统的规模日益增大，数 据规模也急剧增大。特别是在社交网络和商品推荐场景中，因为这些对象和数据往往是以 图的形式展现出来，因此图计算系统在机器学习和数据挖掘中的重要性越来越凸显出来， 已经迅速成为工业界和学术界的研究热点。 矩阵分解是推荐系统中目前常用的一种推荐手段，经常用来做用户的偏好预测。然而 在实际应用场景中实现这种矩阵分解推荐算法会需要消费大量的时间，不能满足目前商业 方面的需求，同时矩阵分解在实现过程也会遇到需要多次迭代的计算问题。针对目前这些 问题，本文创新性提出了结合分布式图计算平台并行化实现可以有效的解决这些问题。 GraphX 图计算框架的出现正好迎合了这一需求。具体研究包括以下几个方面： （1）针对数据并行系统，像 Spark 和 MapReduce 等计算框架在面对数据内部关联度 很高的计算场景时，这些并行计算框架会面临巨大的挑战，会带来大量的计算和数据迁移， 严重消耗集群资源。因此文本提出利用 GraphX 图计算框架对数据进行更好的组织，充分 挖掘图结构的特点，优化计算框架以达到较好的分布式的计算性能。 （2）针对矩阵分解推荐算法在实际应用场景实现的问题。本文深入研究了两种基于 协同过滤的矩阵分解推荐算法，即随机梯度下降(SGD)和交替最小二乘法(ALS)。因此提出 了利用 GraphX 分布式图计算框架将其并行化实现并进行二者之间的对比。 实验结果分析表明，利用 GraphX 图计算框架将矩阵分解的两种优化算法并行化实现 并进行二者对比，发现 ALS 算法明显要优势于 SGD 算法，因此利用基于 Spark 的 GraphX 图计算框架来实现矩阵分解并行化，相比传统的 MapReduce 计算图模型无论是在遇到多次 迭代问题上还是执行效率上都有着很明显的优势提升。 关键词：MapReduce；Spark；GraphX 图计算框架；矩阵分解；推荐系统 IV Abstract With the increasing popularization of computer and information technology, the scale of the computing system is increasing and the scale of data is increasing rapidly. Especially in the social network and the recommendation in the scene, Because these objects and data is often in the form of graph display, As a result, the importance of graph computer system in machine learning and data mining is becoming more and more important, has rapidly become a hot research in the industry and academia. Matrix Factorization is one of the commonly used methods in recommender system, which is often used to predict the users preference. However, in the actual application of the scene to achieve the matrix factorization recommended algorithm will need to spend a lot of time and can not meet the needs of the current business, at the same time, The matrix factorization in the impleme