2025年基于大数据的能力开放平台解决处理方案报告.doc
基于大数据的能力開放平台处理方案
1摘要
关键字：大数据經分统一调度能力開放
运行商通過数年的系统建设和演進，内部系统间存在某些壁垒，通過在运行商的各個内部系统,如經分、VGOP、大数据平台、集团集市等中构建基于ESB的能力開放平台,处理了系统间调度、封闭式開发、数据孤岛等系统問題，使得运行商营销能力和效率大大提高。
2問題分析
2.1背景分析
伴随市場发展，老式的開发模式已經無法满足业务開发敏捷性的规定。年以来，某省运行商經营分析需求量激增，開发時限规定缩短，业务迭代优化需求频繁，原有的“工單-開发”模式平均開发周期為4.5天，支撑负荷已到达极限。能力開放使业务人员可以更便捷的接触和使用到数据，释放业务部门的開发能力。
由于历史原因，业务支撑系统存在經分、VGOP、大数据平台、集团集市等多套独立的运维系统，缺乏统一的运维管理，导致系统与系统之间的数据交付复杂，無法最大化
的运用系统资源。统一调度的出現可以充足整合既有调度系统，減少运维工作量，提高维护质量。
驱動力一：程序调度管理混乱，系统资源使用不充足
經分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理，平台内程序基本是串行执行，以經分曰处理為例，每曰运行時间為20個小時，已經严重影响到了指標的汇总展示。
驱動力二：老式開发模式响应慢，不能满足敏捷開发需求
大数据平台已成為一种数据宝库，已經有趋势表明，只依赖集成商与业务支撑人员的老式開发模式已經無法迅速响应业务部门需求，提高数据价值。
驱動力三：大数据平台丰富了經分的数据源，业务部门急待数据開放
某省运行商建立了面向企业内部所有部门的大数据平台，大数据平台整合了接入B域、O域、互联网域数据，近100余個数据接口，合计820T的数据逐渐投入生产。大数据平台增强了老式經分的数据处理的能力，成為企业重要的资产，不過老式經分数据仓库的顾客重要面向业支内部人员，限制了数据的使用人员范围和数据的使用频度，已經無法满足企业曰益发展的业务需求，数据的開放迫在眉睫。
2.2問題详解
基于背景状况分析，我們认為重要問題有三個：
1、缺乏统一的调度管理，维护效率低下
目前經分系统的曰处理一般是使用SHELL脚本開发的，按照串行调度的思绪执行。進行能力開放後，目前的系统架构無法满足開发者提交的大量程序执行调度的运维需求。假如采用统一调度的设计思绪则基于任务的数据表依赖進行任务解耦及调度，将大大简化调度配置工作和提高系统的并发度；
2、需求周期長，导致開发周期長
現行的開发模式是由业务部门提出需求，业务支撑中心進行需求分析，然後再转派給開发廠商。廠商除了需要与业支沟通需求以外，有時候還需要与业务部门進行二次沟通，最终才能明确需求，開发周期比较長；
3、数据管理分散，存在数据冗余，营销效果欠佳
經分系统對外提供数据，目前采用的是老式的文献接口形式，這样會导致經分和外围系统存在至少2份的数据，伴随經分的按天支撑模式，导致老式的营销效果欠佳，外围系统的存储挥霍。
3处理方案简介
3.1业务目的
将大数据平台及經分数据仓库平台的数据和系统处理能力進行原则化封装，按需進行開放，满足各业务部门数据使用的需求，并在經验成熟的状况下逐渐開放給外部众多的合作伙伴使用。
统一调度：作為大数据開放基础平台，通過消息总线将大数据平台、經分、集市、VGOP、业务部门的应用進行统一的系统调度管控，提供跨平台调度、分发、解析等基础功能，实現大数据平台、經分数据仓库等多类型底层平台的能力互补，形成融合平台的协作效应；通過多租户技术，处理生产任务与数据開放能力争用的問題，实現系统资源
對生产任务与临時任务的合理分派及高效调度。
统一開发：集成图形化的開发界面，通過统一封装的函数库提供类SQL的開发語言，以屏蔽底层平台差异，減少业务人员的開发门槛，实現迅速的业务開发及数据测试。通過元数据的数据模型抽象，逐渐将Hadoop、DB2的後台数据资源高效、安全并可控可管的開放給前端進行访問。
数据共享：大数据平台将顾客標签、营销目的、顾客套餐剩余量等信息通過统一的数据服务方式開放給其他系统或者在线使用，保证数据的唯一性和数据响应的及時性。
3.2方案内容及亮點
图為基于大数据的能力開放体系架
构，我們在原有大数据平台上進行整合，
使得大数据的成果可以有效的被外部系
统调用，并具有原则的服务能力供後续
的系统對接。
能力開放平台由统一调度、统一開
发、数据共享三大平台构成：
统一调度平台将原大数据平台、經
分数据仓库、VGOP平台等关联度高的独
立应用系统的任务進行统一管理、执行
调度及监控，提高整体的执行效率并简
化运维。
统一開发平台搭建于统一调度的基础之上，開发者可以通過IDE使用封装後的函数，以SQL脚本進行图形化的数据