云计算环境下的大规模图数据处理技术.pptx

;摘 要;Abstract;目 录;1. 引 言;1.1 大规模图数据处理问题;1.1 大规模图数据处理问题;1. 2 采用云计算环境处理大规模图的优势 ;1. 2 采用云计算环境处理大规模图的优势 ;1. 2 采用云计算环境处理大规模图的优势 ;1.3 关键技术挑战;1.3 关键技术挑战;1.3 关键技术挑战;1.3 关键技术挑战;1.3 关键技术挑战;目 录;2. 图数据模型与存储管理;2.1.1 简单图模型;2.1.2 超图模型;2.1.2 超图模型;2.2 图数据的存储方式;2.2 图数据的存储方式;2.2 图数据的存储方式;2.2 图数据的存储方式;2.2 图数据的存储方式;2.2 图数据的存储方式;2.3 图数据的索引结构;2.3 图数据的索引结构;2.3 图数据的索引结构;2.3 图数据的索引结构;2.3 图数据的索引结构;目 录;3. 图数据发分割策略;3.1 图分割策略;3.2 单指标分割技术;3.2 单指标分割技术;3.2 单指标分割技术;3.3 多指标分割技术;3.3 多指标分割技术;3.3 多指标分割技术;3.3 多指标分割技术;目 录;4. 图计算模型与典型系统结构;4.1 MapReduce 模型和 BSP 模型;4.1 MapReduce 模型和 BSP 模型;4.1 MapReduce 模型和 BSP 模型;4.1 MapReduce 模型和 BSP 模型;在云环境下实现大规模图的处理 , 主要采用这两种模型 ,下面将对比它们在图处理方面的特点. 在执行机制方面； 在迭代处理方面； 在数据分割方面； 基于BSP的图处理模型 , 需要对加载后的图数据进行一次再分布的过程,以确定消息通信时的路由地址. 例如 ,各任务并行加载数据过程中 ,根据一定的映射策略 ,将读入的数据重新分发到对应的计算任务上(通常是存放在内存中),既有磁盘 IO又有网络通信, 开销很大. 但是一个BSP作业仅需一次数据分割 ,在之后的迭代计算过程中除了消息通信之外 ,不再需要进行数据的迁移. 而基于MapReduce 的图处理模型 ,一般情况下 ,不需要专门的数据分割处理，但是 Map 阶段和 educe阶段存在中间结果的 Shuffle 过程 , 增加了磁盘 IO和网络通信开销.;4.1 MapReduce 模型和 BSP 模型;4.1 MapReduce 模型和 BSP 模型;4.2 典型系统结构;4.2 典型系统结构;4.2 典型系统结构;4.2 典型系统结构;4.2 典型系统结构;目 录; 5. 图数据处理的执行机制; 5.1 消息通信; 5.1 消息通信; 5.1 消息通信; 5.2 同步控制; 5.2 同步控制; 5.2 同步控制; 5.3 容错管理; 5.3 容错管理; 5.3 容错管理; 5.4 可伸缩性; 5.4 可伸缩性; 5.4 可伸缩性;目 录; 6. 图查询处理;图的简单查询 , 一般不需要多次迭代 ,用户可以对大规模图进行查找 ,查询自己感兴趣的信息. 查找过程中 ,对于某些应用 , 通过建立合适的索引 、调整查询顺序和查询复用等技术 , 可以避免对整个图顶点的遍历 ,有效提高查找效率. 从所处理的查询请求和优化技术方面考虑 , 此类图查询类似于普通的数据库查询. 传统集中式数据库系统 ,不仅为用户提供了良好的 SQL 查询语言接口 ,还通过索引组织和查询优化 ,提供高效的查询服务. 云计算环境下 , 对于大规模图的简单查询 , 在考虑分布式环境和图结构特点的同时 ,也应该尽量提供类似的功能. ; 6.1 基本的图查询计算; 6.1 基本的图查询计算; 6.1 基本的图查询计算; 6.2 复杂查询与图挖掘; 6.2 复杂查询与图挖掘; 6.3 图查询处理的实现模式; 6.3 图查询处理的实现模式;目 录; 7. 结束语; 7. 结束语; 7. 结束语; 7. 结束语; 7. 结束语;谢谢！