大数据平台技术方案V1.docx

大数据平台技术方案需求概述背景概述近年来，大数据相关技术发展迅速，大数据技术越来越成熟，已经有越来越多的企事业单位通过大数据技术为来创造更多的价值的同时，也为企事业单位带来了更高的性价比、和更易于扩展的超大规模数据处理能力。基于大数据平台技术，整合现有人口数据，接入公安的舆情数据，搭建处理能力更强，更易于扩展，性能更高的统一数据平台。不仅可以很好的满足高计算、高存储、高负载的要求，更能够对海量的数据进行数据存储、清洗、加工、建模等，把先前无法利用的数据充分利用，提升对数据的认识，抓住机遇为华西医院平台建设做好最基础、最扎实的工作。建设目标全市人口基础数据库大数据平台系统需要建设成为一个是一个高可靠性、高安全性、高性能、高可扩展性、高灵活性的先进系统，用来存储、管理、检索、分析、查询等操作，系统能够提供灵活应用提供可靠、安全、高效的保障，并能够为灵活的建立多种应用提供强大开发支持。系统需要提供对数据仓库类应用的支持，提供对数据分析、数据挖掘类应用的支持，能够存储、查询、分析海量全市公安局的历史数据，提供实时数据计算模块，提供并行分析算法包，可以替代传统数据库系统的大数据管理软件系统、大规模并行数据挖掘软件工具包、R语言业务建模可视化工具、流式计算软件工具包、数据复制与资源管理等支持类软件工具包。全市人口建设的大数据应用平台项目，要实现的具体业务目标为海量数据的低成本高效存储、加工、使用。支持各类结构化、半结构化、非结构化海量数据的低成本存储，快速批处理加工，各应用系统的在线数据查询、统计分析、数据挖掘等需求；为超长时间的海量历史数据存储和使用提供技术基础设施。支持将人口、环境、教育等数据导入导数据平台。同时必须支持蒙古文相关数据的分析、处理。支持移动互联渠道场景的高并发低延时数据服务需求银行在移动互联渠道提供的客户服务逐渐丰富，客户点击流量增长快速，客户的体验要求也在提高。大数据基础软件应能较好地支持移动互联业务场景高并发低延时的数据访问需求，包括通过流式计算框架对客户个性化场景营销、实时风险监测、银行流动性风险实时预警等需求实现提供技术平台支持。支持业务数据分析团队自主数据探索和业务建模通过良好可视化支持的集成工具软件，业务数据分析团队可编写简易的R语言数据处理和可视化程序，自主探索分析业务数据，利用机器学习算法对业务数据建模和验证，利用成熟的量化模型算法支持更科学的经营决策。建立人口与环境、教育等社会资源的模型，进行深度数据挖掘。软件相关支持服务为更好发挥大数据平台的技术优势，同时确保系统平稳安全运行，需要提供现场和非现场形式的产品业务培训和技术培训、运维支持、产品缺陷修复和产品升级、大数据技术架构咨询、应用开发指导等关联支持服务。将利用在行业内积累的的丰富经验，以及在大数据平台技术的积累的深厚的实力，协助华西医院建设以大数据技术为基础，融合开发、测试、生产的统一平台，利用大数据技术解决现有传统架构下面临的的计算瓶颈、存储压力、扩展问题、以及应用限制等问题。需求理解通过对华西医院基础软件及服务建设需求的分析，以及我们对数据应用的理解，我们总结了如下数据应用和相关流程：1. 华西医院基础软件及服务数据处理平台是一个高可靠、高稳定、高安全、高性能、高可扩展、高易用性的基础数据存储、分析、管理、计算平台。2. 平台将完成现有数据仓库类业务，另外也将完成历史数据存储、查询、分析类的应用。3. 数据处理平台需要定期、批量的接受公安局内部和外部各类系统所产生的数据，以批量的方式将数据插入至数据处理平台，插入数据后进行数据清洗、数据转换、数据格式统一、数据入库等操作。4. 数据处理平台也可能会定期从其他现有系统中抽取部分业务数据至平台中，为后期综合分析准备数据。5. 数据处理平台准备好数据后，将通过SQL、R语言等方式对数据处理平台中的数据进行数学分析、数据挖掘和机器学习，并将结果快速显示出来，尤其是对人口与环境、教育等社会资源的模型进行分析，进行数据深度挖掘和分析。数据处理平台对SQL支持的完整程度将是选择平台的重要考虑之一。对SQL 2003标准的完整支持，包括对各种数据类型的支持，对各种复杂连接查询的支持，对相关子查询、嵌套子查询的支持、对操作符、函数的完整支持，会使得后期在数据处理平台的应用开发变得非常方便、并且平台将方便的与现有平台、现有应用进行对接，同时上层通过SQL完成的应用，通过JDBC/ODBC接口连接的应用可以不用做任何修改，这是数据处理平台对基础应用支撑。6. 需要对数据处理平台的数据进行建模，以完成相关业务模型操作和计算。7. 数据处理平台需要支持数据分析、数据挖掘、机器学习算法。平台需要提供对R语言和Python的支持，能够使用R语言所提供的5千多种算法，可以通过算法灵活的对数据进行分析和挖掘，提供对业务有价值的