互联网及大数据应用.ppt

分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 一些相关技术 存储 结构化数据： 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 解决方案： Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4） 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 大数据的相关技术 ETL 数据众包 （CrowdSouring） 数据众包 数据众包是一种新的数据采集方式，由企业方通过平台把数据采集任务外包给非特定的大众网络。 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 大数据的相关技术 ETL 数据众包 （CrowdSouring） 结构化、非结构化和半结构化数据 分布式文件系统 关系数据库 非关系数据库 （NoSQL） 数据仓库 云计算和云存储 实时流处理 分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 非关系型数据库NoSQL 关系型数据库的局限性 难以满足高并发读写的需求 难以满足对海量数据高效率存储和访问的需求 难以满足对数据库高可扩展性和高可用性的需求 NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。 非关系型数据库NoSQL 十一、医疗健康，也可如此智慧 智能穿戴设备 以智能穿戴设备为载体，互联网为渠道的新型医疗模式：运动健康手环、眼镜、甚至智能袜子、鞋子，将个人运动数据统计并上报，依托医疗云平台大数据分析，实现健康诊断。 智能穿戴设备数据上传 医疗云平台分析诊疗 手机/PC通过互联网访问云平台 BAT布局医疗健康行业 1.4 “互联网+”所带来的积极影响及挑战 1.“互联网+”时代带来的积极影响 便捷性 即时性 交互性 功能齐全性 服务灵活性 信息传播广泛性 …… 1.“互联网+”时代带来的积极影响 1) 个人层面：为每一个个体提供学习、生活方方面面的个性化服务 互联网+这一新技术形态的建立，使得人人、人物、物物的广泛连接、交互成为可能。借助网络技术，学习、科研、生活已不再受到校园这一物理边界的制约， 依托于互联网的信息技术也延伸至校园之外，与学习、科研、生活紧密叠加，为每个个体提供了个性化服务。 图：数据交互形态变化 1.“互联网+”时代带来的积极影响 案例：基于云服务的“慕课”学习平台 1.“互联网+”时代带来的积极影响 案例：智能穿戴设备 图：智能手环 1.“互联网+”时代带来的积极影响 2) 社会层面：发展了人的社会关系 以网结缘的社会关系扩大了社会关系的范围，使人们从地域性个人变成了世界性个人. 图：以网络为载体的社会关系 ?哔哩哔哩弹幕网 ?豆瓣 ?知乎 网易云音乐 1.“互联网+”时代带来的积极影响 2) 社会层面：丰富了社会生活形态 移动互联网塑造了全新的社会生活形态，潜移默化的改变着移动网民的日常生活。 案例： “互联网+”正由第三产业向第二产业进而向第一产业渗透。2014年中国一大批服务类O2O公司的崛起就是例证。 1.“互联网+”时代带来的积极影响 3) 国家层面：提升综合国力和国际竞争力 国家从战略角度考虑“互联网+”，借助以互联网为代表的新技术力量，把“互联网+”纳入国家行动计划，是经济新常态下的理性选择。 1.“互联网+”时代带来的积极影响 2.“互联网+”时代面临的风险与挑战 信息庞杂性 缺乏规范性 安全风险性 人际隔离性 信息可靠性 信息碎片性 …… 1) 个人层面：网络强化了部分人群的人际隔离 2.“互联网+”时代面临的风险与挑战 2.“互联网+”时代面临的风险与挑战 数据链接： 截至2015年12月，我国网民规模达6.88亿，全年共计新增网民3951万人。互联网普及率为50.3%。 调查结果显示，2015年新网民最主要的上网设备是手机，使用率为71.5%。2015年新增加的网民群体中，低龄(19岁以下)、学生群体的占比分别为46.1%、46.4%。 2.“互联网+”时代面临的风险与挑战 2) 社会层面：网络失范现象危害社会稳定 2.“互联网+”时代面临的风险与挑战 3) 国家层面：网络安全问题存在隐患 我