一个分布式文件系统原型的设计与实现.ppt

一个分布式文件系统原型的 设计与实现 汪萌 吴泠 张彬彬 王莉春 李双峰 2004年12月21日 基本功能 为用户提供独立的名字空间 多台文件服务器存储，自动文件备份 用户管理 支持本地/远程文件统一操作 本地文件/目录基本操作 新建、编辑(txt文件)、复制、剪切、粘贴、删除、更名 远程文件/目录增加操作 查看(只读方式) 设置共享目录 系统结构 客户端缓存 交互对象 客户端界面、名字服务器、文件服务器 缓存替换策略 影响因素 访问次序 文件大小 下载延迟和代价 最近访问的时间间隔 我们的策略 时间阈值expire_time 文件大小阈值LargeThreshold GreedyDual-Size 算法 GreedyDual的扩展 考虑了不同的文件大小 考虑了不同的获取代价 根据参数不同具有不同的适应性 缓存更新策略 常用机制 TTL Client pulling Invalidation protocols 我们的策略 在系统启动时，通过Client pulling与名字服务交互 在系统运行期间，通过Invalidation protocols方式保持一致性 在系统运行期间，缓存管理器也定期删除较长时间未访问的文件 名字服务器 用户管理 创建用户 删除用户 用户登录 用户注销 名字服务器 名字空间管理 多名字空间 每一个用户有一个独立的名字空间 目录结构信息用XML文件管理 文件目录属性信息用关系数据库存储 通过XML文件管理共享目录结构信息 响应客户端请求 返回目录结构信息+文件目录属性信息+共享目录结构信息 名字服务器 文件管理 用关系数据库管理文件信息 文件的基本信息 文件名、所有者、文件大小、创建时间、修改时间等 文件逻辑地址 用户名+名字空间中的逻辑路径+逻辑文件名 文件物理地址 文件服务器标识+全局唯一的物理文件名 每一个文件具有唯一的逻辑地址，每一个文件副本对应一个物理地址 名字服务器 文件服务器管理 动态管理文件服务器 添加、删除文件服务器 指导文件服务器进行文件备份 同一个文件在两台文件服务器中保存副本 实时获取文件服务器信息 剩余空间、负载 文件服务器选择策略:剩余空间+负载 在剩余空间满足的情况下，选择当前负载最轻的（可扩展） 名字服务器 共享目录的管理 用户在客户端选择共享文件及共享者 共享者具有只读权限 共享目录信息采用XML文件，共享者由关系数据库记录 一致性维护 时间戳 调用文件服务器进行副本更新 比较时间戳，选择最新的文件 通过回调机制通知Cache更新文件 文件的传输 文件服务器：监控管理程序 监控文件服务器信息，提供当前的磁盘空间等资源信息 响应删除文件命令，删除文件服务器上的文件 响应备份命令，将本地文件备份到另一文件服务器上 客户端使用的工具包 上传文件、下载文件、删除文件 ftp协议 NS使用的工具包 提供资源信息查询 通知备份文件到第三方文件服务器 删除文件服务器上的备份文件功能 总结 访问透明性 为本地文件/远程文件提供统一操作方式 位置透明性 用户独立的文件名字空间 移动透明性 文件服务器的文件管理对用户透明 总结（续） 安全性 用户管理 共享设置 文件复制 文件服务器文档备份 名字服务器文档备份 一致性 共享文件的更新 可扩展性 文件服务器的管理 主要参考文献 分布式系统：概念与设计 郭朝阳、代亚非、韩华 燕星系统的设计及其实现中的技术问题. 计算机工程与应用 2003.9 乐德广等. 网络缓存技术及应用的研究. 应用技术. 2003.5 P. Cao and S. Irani, Cost-Aware WWW Proxy Caching Algorithms, Proceedings of USENIX Symposium on Internet Technologies and Systems (USITS), Monterey, CA, pp.193-206, December 1997. We are DSFive!!! DFSt 一个分布式文件系统原型的设计与实现 * 网络与分布式系统课程实习报告 RMI Cache 文件服务器 名字服务器 客户端 客户端界面 客户端界面（续）