大数据时代的数字图书馆.pptx

大数据时代的数字图书馆 Digital Library in the;;;;根据IDC监测，全球数据量大约每两年翻一番，意味 着人类在最近两年产生的数据量相当于之前产生的全 部数据量，预计到2020年，全球将总共拥有35ZB的 数据量，相较于2010年，数据量将增长近30倍。 指数型增长的海量数据;;?准确化（Veracity）：浪里淘沙却又弥足珍贵;大数据的四个主要特征;;;;11/26/2012;11/26/2012;;数字图书馆与实体馆资源同质;数字图书馆与实体馆用户同质;11/26/2012;?企业中80%是非结构化或半结构化;科学研究的变化要求数字图书馆 大数据的支撑;11/26/2012;;11/26/2012;数字图书馆面临新的研究需求;创新主体的转移要求大数据;国际上的大数据开发趋势强劲;11/26/2012;图片来源： McKinsey Global Institute：“Big Data – The next frontier for innovation, competition and productivity”（2011 年 5 月）;?任何人在任何时间、任何地点，可以获得所需要的任何 知识，这是数字图书馆建设的美好愿景。;;;? 原生大数据的缺乏，与实体图书馆资源和用户;科学研究的变化，要求数字图书;33;创新主体的转移，要求数字图书;大数据概览;11/26/2012;? 大数据应用也早已在商业领域应用。金蝶他们;用户信息素养的变化，要求数字图;11/26/2012;国际上图书馆的变化;11/26/2012;11/26/2012;11/26/2012;对数字图书馆的竞争;;;大规模非结构化数据急剧增长; 非结构化大数据开发 大数据环境下，图片、音频、视频、XML、 HTML、办公文档、各类报表等非结构化数 据大量增加。;非结构化大数据开发;图片来源：甲骨文公司(《从非结构化数据到大数据(Big Data)》); 分布式大数据开发 ? 如何从海量数据中发现特定知识，如何高效地处理海量数 据，几乎是任何一个信息分析机构要面对的问题。大规模 非结构化数据的激增，需要分布式大规模数据库的开发。 目前，如果不谈架构层面上传统的IaaS、PaaS与SaaS，就 数以分布式与虚拟化为主要代表的云计算技术被普遍接受。;分布式大数据开发; 分布式大数据开发 ? 云计算的数据存储技术主要有Google的非开源的GFS( Google file system) 和Hadoop的GFS 开源实现HDFS ( Hadoop distributed file system) 。 ? 以Google为代表的云计算以其应用简单、高效得到了广泛 认可。它通过在分布式文件系统GFS基础之上的MapReduce 编程模型以及廉价集群的建立，解决了许多大规模数据的 计算问题。 ? 由雅虎资助的开源项目Hadoop，是一个类似于Google 云计 算的技术平台，专注于海量数据存储、处理的分布式系统，; 以Hadoop云计算平台为例 ? Hadoop是Apache开源组织的一个分布式计算开 源框架，它基于廉价PC服务器，专注于海量数 据存储、处理的分布式系统。; Map-Reduce分布式计算 ? Hadoop 中的Map-Reduce是一个软件框架，基于它写出来的应用 程序能够运行在大型集群上，并以一种可靠容错的方式并行处理 大规模的数据集。 ? Map-Reduce 模型使用函数Map分割数据和函数Reduce合并数据。;;大数据开发的相关技术;NoSQL非关系型数据库;大数据开发的相关技术;一、支持对象存储的统一存储技术;? 数据挖掘技术可以对关系数据库中的结构化数据， 或是文本、图形、图像数据等半结构化数据，甚 至是分布在网络上的异构型数据进行采集。;可视化关系图;资料来源：国金证券(《大数据引领我们走向数据智能化时代——BigData专题报告》);领域大数据开发;;气象信息月度走势图;原生大数据开发; 原生大数据开发 1、数码照片 使用数码相机拍摄的数码照片是增长最快的 一种原生数据。保存的重点在于将其以当前的 主流形式拷贝在同时时期的可持久使用的媒介 上。为保护照片的完整和原始，还要注意色彩 空间与压缩。 2、数字文档;原生大数据开发;原生大数据开发;原生大数据开发; 原生大数据开发 8、数字艺术 数字艺术可以是数字摄影等简单形式，也可;特藏大数据管理;特藏大数据管理;特藏大数据管理; 特藏大数据管理 2、原生数字档案资料 ? 定义原生数字档案资料的特征，作为“特 色馆藏”的重要依据；;特藏大数据管理;? ? ?