中国联通上海智能营销平台更新改造工程项目


客户简介及项目背景

中国联合网络通信集团有限公司(中国联通)拥有覆盖全国、通达世界的全球领先通信网络,是拥有TD-LTE和LTE FDD两种4G牌照的“双4G”运营商,致力于推进固定网络和移动网络的宽带化、“宽带中国”战略在企业层面的落地实施,为广大用户提供全方位、高品质信息通信服务。

从发现价值到创造价值, 大数据将成为“互联网+” 产业升级的驱动力。 过去,数据的价值主要应用在决策领域,典型应用是商业智能(BI, Business Intelligence)在企业经营管理层面的应用, 即通过数据收集、管理和分析等方法,将数据转化为知识, 发现数据的价值,进而提供决策支持。随着数据体量的不断增加和处理数据能力的提升, 大数据已经成为一类新的资产, 其应用场景正在不断扩宽,除了决策支持、 提高效率等发现价值功能之外,大数据还能创造价值的功能: 一方面,大数据可以帮助提供传统模式下所无法提供的产品, 满足用户需求, 例如大数据完善个人征信体系,帮助金融机构提供消费金融产品;另一方面,大数据还可以创造需求, 例如,大数据可以助力实现人工智能, 这是新技术创造的新需求。

随着联通业务的快速发展,每天产生的数据量非常庞大。在大数据技术问世之前,传统的数据处理遇到了很多的瓶颈。首先,对于传统的数据库当数据量非常大的情况下就会导致存储到达上限,解决办法是换容量更大的硬盘,但是这么做的成本非常高。其次就是计算机无法快速的处理大数据量,在数据处理速度上也会遇到瓶颈。

以高效准确处理大数据为使命,提供大数据上传、存储、计算、数据加工和服务等基础设施,降低大数据创业创新门槛,帮助客户快速地建立大数据基础设施。并结合行业服务商,提供交通、通信、农业等行业大数据解决方案。提供一站式大数据开发、管理、分析、挖掘、展现的解决方案,利用集群模式在几分钟内可将原始数据转换为行业洞察的海量数据处理能力,而无需关心集群的搭建与管理。


项目实施内容简介

项目于2016年月份启动,经过一年的实施,于2017年6月30日成功上线

实施模块范围包括:前端/后台(框架与功能开发)JAVA编程,大数据分析与挖掘,数据可视化展现

数据库:mysql

项目实施组织范围:上海联通

应用集成范围包括:

与上海联通云平台和DMP平台集成

与上海联通其他平台接口集成


项目实施成果

通过一年的项目实施和上线支持,项目取得了如下成果:

◆ 大数据处理效能提升

涉及大数据的采集、储存、分析、展现的大数据平台,主要特点是能够对数据进行自助式建模挖掘分析,利用拖拽的方式实现数据清洗与算法建模。大数据领域有着四大特点:大量、高速、多样、价值。大数据领域最直接的意义就是让随机性的事情变得可提前预测,从而提高效率和行动价值。

◆ 操作易用性提高

支持自助式数据挖掘分析,可拖拽式数据清洗分析与算法建模,可支撑百亿级的数据吞吐量。同时,平台支持多种核心主流算法库开箱即用,使得大数据分析简单化和平民化,开发者在了解极少统计学与数据挖掘领域知识便可轻松使用该平台对大数据进行挖掘与建模分析。系统兼具轻量级极具简约设计思维,以及酷炫的使用外观具有人性化友好的使用界面,和卓越的运算性能,深度包装大数据生态圈技术框架,最大化加深企业使用大数据的效率,并基于业务使用视角,使得企业业务分析人员可直接操作建模,大大节省了业务与技术沟通的时间。

◆ 数据安全性提升

涉及数据安全性问题,处理完的结果集,必须经过审核通过后,才推送到云平台进行展示。

◆ 处理多数据源能力提升

由于建模平台数据来源不统一,需要将不同的数据源转换成统一的数据源,可以将关系型数据库,例如Oracle,Mysql,Sqlserver等,文件格式的数据,比如txt,csv等,也可以在现有的数据源基础上进行处理形成新的数据源,转换成统一的数据源。

◆ 数据处理正确性提升

为了保证数据一致性的要求,为此提供了数据清洗功能,主要包括SQL处理、抽样、分类汇总、合并数据集、数据分区、排序、数据离散、数据标准、过滤标量、转置、字段重排、加权、样本均衡等。

数据清洗主要用于去除不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据,也可以在原有数据基础上进行处理。

◆ 数据校验能力提升

为了满足对数据处理的要求,为此提供了数据校验功能,可以提供处理数据的灵活度,可以把不符合指标的数据指定为无效数据。主要包括数据审核、频数分布、描述性统计等。

◆ 算法分析能力提升

基于分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的操作组件来进行试验,使得没有机器学习背景的工程师也可以轻易上手玩转数据挖掘。平台提供了Apriori、K_means、朴素贝叶斯、逻辑回归、岭回归、LASSO、线性回归等丰富的机器语言。

◆ 页面展示多样性提升

提供丰富的仪表展现,平台使用更生动、有好的形式,及时呈现出隐藏在瞬息万变且庞杂数据背后的业务洞察。主要包括表格展示、柱状图、条形图、折线图、散点图、气泡图、虫洞、地理分布图等。

返回
顶层