智慧高校大数据解决方案交流.ppt

针对客户的数据现状和业务需求进行针对性的数据清洗工作**技术上三盟科技提可以提供多类数据库，建设一套统一的数据仓库。根据业务数据的类型、大小和读取频率动态存储到对应的数据库中，以达到最佳的性能和合理的成本控制。比如用Mysql存储静态数据，教务表、学籍信息等。用分步式构架的Hdfs：直接存大量的动态数据，并用spark来进行数据分析。比如从互联网获取的舆情信息，可实现大容量、分步式的存储Hbase来存储当前访问量很高热数据，比如当前的一卡通、门禁信息等，可实现快速检索三盟科技在整合不同的数据库时，提供了DBBox的产品，可将不同的数据库还二次开发和接口封装，对外提供统一的数据接口，供学校开发的大数据业务使用。接口是开放的，学校各部门也可以使用这个接口开发一些在数据的应用，获得感兴趣和关注的内容。**在学校有需要的情况下，可以为学生制定一套大数据标准规范，对各个业务系统的数据进行规范梳理*该拓朴是一个知名高校一期大数据项目的物理拓术图，一共配置了12台硬件服务器，10台用于数据存储，包括4台mysql集群，6台做hadoop集群。4台服务器做为业务和服务。后续可以在整体构架不变的情况下自由的扩展。三盟科技能够提供云计算与大数据融合，在三盟的云平台上，可以实现自动的部署各种大数据节点和应用服务器资源。*该拓朴是一个知名高校一期大数据项目的物理拓术图，一共配置了12台硬件服务器，10台用于数据存储，包括4台mysql集群，6台做hadoop集群。4台服务器做为业务和服务。后续可以在整体构架不变的情况下自由的扩展。三盟科技能够提供云计算与大数据融合，在三盟的云平台上，可以实现自动的部署各种大数据节点和应用服务器资源。*同时，三盟科技结合自身在云计算领域的技术积累，在三盟的云计算管理软件上开发出了在云计算平台上自动部署大数据环境的基础功能，整个操作界面是中文图形化的，学校普通的管理员即可实现快速自动的部署整个大数据平台上常用软件与相关环境，极大的降低了大数据的部署难度与所需时间。*****三盟具有非常出众的大数据开发团队，一共分为中国和美国硅谷两个研发中心，其中中国研发与服务团队超过100人，核心来自于以前做运营商大数据分析的知名公司，具有非常丰富的大数据技术实力和产品研发**海南师范大学的业务系统比较完善、而且业务系统各自负责独有业务流程并各自存储数据。但是项目建设过程中遇到很多问题。三盟科技经过项目的开发，为学校构建了“学校概况”、“我的大学”、“就业指导”、“行为预警”、“舆情分析”、“优秀学生画像”六大模块，现在数据采集、清洗、建模等操作已全部完工，应用已基本开发完成，预计5月底即可完成开发和验收。***************首先我想分享一个观点，高校大数据时代真的已经来了。国家高层领导已经将大数据提升到国家的战略高度，并且发布了相关政策文件《促进大数据发展行动纲要》，而且其中非常明确的提到了教育大数据的建设与要求。教育行业本身的行动也非常快，其中《中国基础教育大数据发展白皮书》，用于指导各地教育大数据建设与发展。而且就在今年4月17日，《中国基础教育大数据发展蓝皮书(2015)》在北京师范大学发布，是国内首份面向基础教育领域的大数据蓝皮书。此蓝皮书深度透析国内基础教育大数据发展的现状、难点和趋势，蓝皮书涵盖了对教育大数据的基础认知、4大类13种常见的教育大数据采集技术、7大类教育数据分析模型，并对教育大数据的应用案例、管理机制、产业发展等内容做了详尽的调查，并梳理了十大结论，对教育决策者、教育管理者、师生和行业从业者这四类人群提出建议，展望了中国基础教育大数据五大发展趋势，为教育大数据勾勒发展蓝图。同时据我了解，很多发达地区的省份都已经在制作本省的大数据建设方案与标准，部份高校正在进行大数据项目的规划。那么作为教育用户，我们该如何顺应潮流提高学校的信息化水平，建设过程又会遇到什么问题呢？*我们在高教行业做了很多的调研与实际项目，我们发现高校在大数据项目建设中：高校数据源的质量普遍不高，主要体现在数据涉及面窄、有效数据量少、数据接口不完善三大方面。数量涉及面窄：数据源主要是数字化校园系统产生数据和互联网数据，数据来源单一，而且部分业务系统独立建设，无法进行数据交互。数据的不全面不完善会导致数据建模数据维度少，模型准确性低，影响上层应用的实现效果甚至无法实现。有效数据量少：一般大数据的数据量高达PB，然而高校大数据一般只有TB量级的数据量。而且教育用户的业务数据噪声较多，大部分为结构化数据，有效数据量少，这会增加大数据建设中数据清洗、数据建模的工作量。数据接口不完善主要是因为学校的部分系统在前期规划设计的时候