大数据及其典型应用讲解.ppt

信息资源管理-扩展知识大数据及其典型应用;*;一、大数据的相关概念 二、国内外大数据分析的研究现状 三、构建大数据分析平台 四、公共安全领域大数据应用案例 ;*;数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段;全球信息化发展已步入大数据时代 150亿个设备连接到互联网 全球每秒钟发送 290万封电子邮件 每天有 2.88 万小时视频上传到Youtube Facebook 每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 2011年全球产生数据量1.8ZB，预计2020年将增长到35ZB 大数据正迅速成为最值得关注的IT领域之一 2011年5月，EMC World 2011大会主题“云计算相遇大数据”，EMC 除了一直倡导的云计算外，还抛出大数据（BigData）概念 2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进 2011 年10 月，Gartner 认为2012 年十大战略技术将包括大数据 2011 年11 月底，IDC 将大数据放入2012 年信息通信产业十大预测之一;;“大数据”是如何产生的？ ;大数据时代的爆炸增长;大数据的4V特征;大数据的构成;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;*;利用GPS数据了解交通状况;数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素 ;*;*;;;*;;*;;;;分析流程 1. 分析主题确定及数据指标的选择；2. 数据仓库数据提取及清洗；3. 不相关指标剔除；4. 用训练数据建立模型；5. 用测试数据检验模型；6. 预测新的流失用户，并提取用户名单； 7.制订挽留策略：对圈定的客户进一步进行分群，然后逐群制 订有针对的挽留策略。比如有的群组是属于夜间通话多（和 总体的均值相比）的客户，那么针对他们的挽留策略可能是 推荐一些夜间通话优惠的资费方案。 8.实施挽留行动、收集客户反馈。 9.评估挽留效果： 　　;面向公共安全领域的大数据分析技术平台;刑侦的犯罪预防 搜集犯罪的信息 推断罪犯的习惯 预测罪案的发生 非法出入境判别 海关走私模式的分析 紧急事件的处理 人员的紧急疏散 资源的紧急调配 紧急状态的安全管理 紧急事件发生的预演 交通管理 ;信息的来源;问题的关键;飞速膨胀的信息 多种学科的边缘结合 有限的记忆和注意范围 长时间持续的分析工作 严重依赖分析人员的经验;限制…;当前的分析需求;定性, 定量分析;;*;罪犯 – 犯罪技巧 (爆炸-爆炸物制作, 杀人方式, 动机等等), 属于特定团伙和团伙中的角色 (计划者, 辅助者, 领导者, 执行者/马仔等等), 户籍地/暂住地, 入狱历史 团伙 – 成员, 角色 潜在目标 – 人群/公共机构/商业机构, 他们的位置 知识和经验 – 这些因素如何相互作用 – 包括外在的影响和经验 (过去发生的事件) 新的信息会源源不断 … ;- 西西里, 巴勒莫, 4/4/03 : “Corradi 拘捕了 Don Marcello” (公共信息);理解信息 Bob 是 Marcello 家族的成员 Bob 是家族中的计划者和谈判代表 Marcello 家族的势力只限于巴勒莫 谈判代表到外面的地区寻找家族内没有的炸弹专家 炸弹制造和使用是 Marcello 家族没有的技术, Parsi 地区的黑手党家族有这样的专家 Per 是Parsi 地区的黑手党炸弹专家 同时间服刑的罪犯经常会一起合作犯案 Per 和 Bob 有同时间服刑的历史 Marcello 家族有可能以炸弹攻击的方式报复 Don Marcello 的被拘捕 Bob 有可能计划用炸弹攻击巴勒莫警方;巴勒莫, 4/4/03 : “Corradi 拘捕了 Don Marcello” (公共信息) 巴勒莫, 5/5/03 : “Bob 在 Parsi 出现” (警方通报) 罗马, 5/5/03 : “Fabrizzi 将会29号在巴勒莫法庭宣判 Don Marcello (公共信息) 巴勒莫, 7/5/03 : “这个月巴勒莫会发生一些事情” (警方情报) ;如果我们拘捕 Per? 炸弹攻击的威胁会降低, 但是不会消失 – Marcello 家族的谈判代表还知道其他的炸弹专家, 等等