网格资源共享教学讲义.ppt

资源发现 资源发现 资源发现的定义：给定一个预想的资源描述，一个资源发现机制将返回一组与描述相匹配的资源 网格系统本质上是一个基础设施，它允许位置无关的资源和服务获取，这些资源和服务是由地理上分布的机器和网络提供的。支持这种位置无关计算的一个基本操作就是资源发现 网格中的资源发现将是更复杂的发现，不同于DNS服务或Web搜索 网格中的资源发现所面临的挑战 存在的大量资源和用户（可能几百万个） 异构的资源类型和用户请求 最大的问题是虚拟组织（VO）随时间的发展变化。比如组织成员的加入和离开（伴随着资源和用户的增删）、成员可享用资源的改变等等。 端到端体系结构 为什么采用端到端体系结构？因为网格中的资源由不同的组织或/和个人共享。许多组织有自己的特定共享策略。中间节点只负责转发请求，无权决定资源使用权限。 假定每个VO（组织或个人）中的参与者都有一个或多个服务器存储和提供本地资源信息的接入，我们将这些服务器称为节点（nodes）或端（peers） 端到端资源发现的基本框架： …… 请求 node 转发 node 返回 node 应答 转发 转发 请求—转发策略 FRQ1：随机（Random）：随机选择转发节点。节点中不存放任何额外信息。 FRQ2：基于经验 + 随机（Experience-based + random）：节点通过记录应答节点来习得经验。一个请求被转发到先前应答过类似请求的节点。如果没有相关经验存在，请求将转发至一个随机选择的节点。 FRQ3：最优相邻算法（Best-neighbor）：记录相邻节点的处理能力（不记录应答的请求类型）。一个请求将转发给此处理能力最大的节点。 FRQ4：基于经验 + 最优相邻（Experience-based + best-neighbor）：与FRQ2相同，只是如果没有相关的经验存在，那么请求转发给最优相邻节点。 节点将它们应答不了的请求转发给从本地已知节点中选取的一个节点。以下是四种请求—转发算法： 四种请求—转发算法的性能实验 资源发现机制的性能依赖于应用、环境特点。比如规模、资源分布和用户请求模式，这里的实验条件是： 规模：1000 ~ 5000个节点 用户请求：与10000个不同资源的匹配，其中有些是相同的请求描述。考虑两种请求分布（随机和几何） 资源分布：即资源在所有节点上的分布。考虑了3种分布情况 资源频度（resource frequency）：区别普通资源（大量大范围可用）以及稀有（甚至唯一）资源。R资源有D种不同类型，则频度为R/D 我们感兴趣的是网格中不同资源分布条件下四种请求—转发算法中每个请求的响应时间和响应成功率 响应时间指的是应答一个请求所经过的节点数（即跳数） 资源的三种分布 不平衡 (Unbalanced：少数节点提供绝大多数的资源，而大多数节点都只提供少量资源) 、平衡（balanced：所有节点上的资源数量相当）、两者的折衷（Medium） 实验结果1 纵坐标是每一请求的平均跳数，横坐标是网格中的节点数。左图是不平衡的资源分布环境；右图是平衡的资源分布环境。资源的总数是10000。资源频度（每种类型的资源数）是100。 实验结果2 不同用户请求模式（随机和几何分布）对资源发现性能的影响。基于不同的资源频度环境（分别是100和10）以及不平衡的资源分布。这里使用的是算法FRQ2 资源调度 资源调度的目的 为了完成用户提交的任务和满足用户提出的要求，把网格中所有可用资源（计算资源、存储资源和网络资源）进行匹配，找到最好最合理的资源分配方式和资源调度策略。 资源调度中的主要挑战 网格是由各种不同的管理域组成的异构环境，在网格中的资源调度程序不可能控制网格中的所有资源； 网格中的资源是动态变化的，随着时间的变化，总是由旧的资源推出和新的资源加入； 由于资源之间的关联性，进入网格中的任务会和其他已经在网格中的任务竞争资源，造成任务之间的相互影响，要同时找到满足所有任务要求的最优调度方案，有时是不大可能的； 资源调度中的主要挑战（续） 网格中的资源种类繁多，各种任务对资源的要求也是各种各样，很难用统一的尺度描述和度量其特征； 网格中对各种资源的约束很多有些甚至是非线性，要达到的调度目标也很多，比如要时间最少、代价最小、资源利用率最高等，有些目标相互矛盾，对于这种多目标多约束的问题找到满足所有约束和目标的全局最优解是很困难的 资源调度系统的基本组成 调度策略：是一些调度的规则和算法 ，使应用能够按照规则找到最优的资源； 应用模型：是对所调度的应用的抽象描述和度量 ； 资源模型：是对计算资源的描述和度量； 资源调度的方式 集中式调度 ：在网格中只有一个调度中心 ,负责调度网格中的所有资源