集团大数据云平台方案规划.docx

集团大数据云平台方案规划目录1综述31.1项目背景31.2建设目标31.3需求分析31.3.1基础平台41.3.2企业画像应用52大数据云服务平台对应用的支撑需求62.1用户与企业画像支撑能力62.2物联网数据分析能力82.3互联网数据应用支撑能力112.3.1爬虫引擎112.3.2实时查询122.4非结构化数据处理能力172.4.1文本识别172.4.2PDF图像识别212.4.3全文检索213总体建设方案233.1平台框架设计理念233.2功能架构243.3技术架构253.4产品覆盖综述263.5数据分布架构273.6关键技术说明273.6.1云服务平台273.6.2Hadoop平台393.6.3元数据管理403.6.4数据治理473.6.5爬虫引擎523.6.6数据探索563.6.7自助分析573.6.8企业画像58综述项目背景互联网、云计算、物联网、及时通讯工具和社交网络的兴起和普及，特别是大数据技术的应用，正深刻改变着当前市场格局。达沃斯世界经济论坛发布的《大数据，大影响：国际发展的新可能》的报告宜称，大数据已成为与货币和黄金一样的一种新的经济资产类别。，美国总统办事室（EOP）公布了《大数据研究和发展规划》，把大数据研发应用从商业行为提升到国家战略层面。在这种新形式下，大数据项目将会作为整个集团的跨公司、跨部门、跨内外的数据综合服务平台，承载着互联网+业务的核心枢纽。该平台的主要建设目标是为集团及其全部相关机构提供全栈大数据服务，包括技术平台、数据应用及产品、数据服务。该平台的建设目标并不仅仅局限于使用大数据技术构建数据分析系统，而是基于云计算、云服务的理念，打造集团“数据即服务”的平台理念。通过整合集团、子公司、互联网+平台、第三方等数据，通过授权机制为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据能力和数据服务。建设目标本期项目建设目标：为集团及其全部相关机构提供全栈式大数据服务，包括技术平台、数据应用及产品、数据服务；基于云计算、云服务的理念，打造集团“能力、数据即服务”的平台理念；为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据基础能力和数据服务。需求分析本期大数据云服务平台项目包括大数据基础平台建设、企业画像应用两部分。其中数据云平台接入中信云平台，统一进行运营和对外提供服务。基础平台基础平台提供一站式大数据解决能力和一站式数据分析能力。平台系统支持PaaS层能力，承载用户创建、修改、删除计算与存储资源，创建、发布、与回收业务应用等平台管理功能以及元数据管理、数据质量等数据管控功能；平台系统支持DaaS层能力，即支持数据采集、存储（数据湖）、计算以及展现四大部分能力；平台系统支持SaaS层能力，支持数据的分发、共享、探索、以及协作等功能。采集部分支持通过探针、爬虫、ETL手段从数据源将数据录入该平台，从数据类型上看，采集部分支持结构化数据采集与非结构化数据采集；从实效性上看，平台支持实时数据采集、初始化数据采集以及增量数据采集；从业务层面看平台支持业务数据采集与第三方数据采集多个维度。存储部分负责将采集端收集的数据，以及平台内部处理后生成的数据永久性存放。从数据类型上看，平台支持结构化存储、半结构化存储以及非结构化存储；从使用方式上看可以平台支持归档数据存储、批处理数据存储以及在线热数据存储；从业务层面来看平台支持外部数据、子公司业务主数据以及互联网+平台数据存储。计算部分负责对存储区的数据进行操作，平台支持增删改查、分析统计、模糊检索、挖掘预测等功能。从数据类型上看，平台支持结构化数据计算（SQL）与半结构化/非结构化数据计算；而从使用方式上看，平台支持离线计算、在线应用以及实时处理。数据展现层支持开发运维展现与应用展现能力。该平台具有完整的可视化开发运维界面，能够通过图形的方式进行平台的状态与健康监控、性能分析、日志查询、资源管控等运维功能，以及在线开发、调试、部署与诊断功能。平台支持在BI报表，OLAP交互式分析、用户自由查询、交互式挖掘、模糊检索、移动端展示等可视化功能。平台基于云计算、云存储的理念，打造集团“数据即服务”的平台理念，该平台能够使集团将各个子公司、机构与部门的数据有机地结合到一起，能够使用户在该平台中自由地创建、修改、删除计算存储资源，能够有效灵活地访问到其他用户公开的数据，并自由定义自身需要的数据处理逻辑与报表展现方案，并将结果数据进行公开与共享。平台需要能够满足用户自定义数据加工与分析流程，包括：支撑用户与企业画像应用；提供物联网数据分析能力；支撑互联网数据应用；提供非结构化数据处理能力。企业画像应用企业画像应用围绕集团的子公司，整合集团内外部数据从多个维度进行企业画像，增强对子公司的洞察和智能管控。企业画像将围绕企业基本资料、股