2019年以来,全球大数据技术、产业、应用等多方面的发展呈现了新的趋势,也正在进入新的阶段。据国际权威机构 Statista 发布的报告显示,预计2019年全球大数据市场收入规模将达到490亿美元,预计到2020年全球规模将达到560亿美元,年收入规模保持在70亿美元左右的增长速度。
随着市场整体的日渐成熟和新兴技术不断与行业的融合应用,大数据体量也在进一步放大。据统计,全球数据量在2019年有望达到41ZB,到2020年将突破50ZB。巨大的潜在价值,驱动着包括数据存储、分布式数据库、数据挖掘工具、BI工具、可视化工具、数据管理平台等技术产品不断成熟。并且逐渐形成了以云平台为基础的能力聚合,提供一站式通用数据采集、加工、存储、管理和分析能力。
“大数据能力向云化演进,是大势所趋。对于企业用户而言,最大的好处在于不用操心如何维护底层硬件和网络,从而更加专注于数据的分析和价值挖掘,降低了大数据技术的学习成本和使用门槛。”据深圳市大数据研究应用协会副会长、中琛魔方大数据分析平台负责人罗应军介绍。
据罗应军介绍,目前国内包括阿里云、腾讯云以及中琛魔方等大数据产品纷纷构建了品牌自身的云上数据能力集成平台。由多种大数据工具和能力组合而成,连接终端的数据资源和企业端的数据管理运营团队,提供一站式大数据分析能力,从而形成敏捷的数据驱动精细化运营的模式。“以中琛魔方为例,中琛魔方集成了元数据管理、ETL数据管理、数据采集、标签管理等7大子系统,从而打破了原有的复杂数据管理-分析体系,让企业相关人员通过云端入口,即可快速接入数据源,开展敏捷分析和应用。”罗应军表示。
据悉,目前中琛魔方单日处理数据量可达32亿条,单日计算能力达50亿次。通过集成了大数据采集、清洗、分类、存储、计算及可视化等数据工具和能力,通过云端打通了数据流通、处理的通道,有效提升了企业获取、管理和分析数据的效率。用户只需通过云端,按照数据分析的流程,对各数据功能模块进行简单的拖曳和关联,即可完成数据分析。
在数据驱动精细化运营的今天,海量实时的数据分析需求无法避免。分析和业务是强关联的,但由于这两类数据库在数据模型、行列 存储模式和响应效率等方面的区别,通常会造成数据的重复存储。事务系统中的业务数据库只能通过定时任务同步导入分析系统,这导致了数据时效性不足,无法实时地进行决策分析。
“同时,云端融合的优势还在于,可以避免频繁的数据搬运操作带来的重复存储的成本和额外负担,从而及时高效地支撑业务相关数据挖掘,指导业务经营优化”罗应军介绍。据悉,在云端融合服务的基础上,中琛魔方还从云平台抽离出轻量化数据分析系统“大数据敏捷BI”。以业务应用为核心,方便企业人员0编码快速展开数据分析,迅速挖掘、释放数据价值,指导企业洞察业务现状,优化服务体验等。
随着大数据应用从消费侧向生产侧的不断延伸, 5G、产业互联网的不断融合应用,将带来大数据体量的进一步爆发,企业将面临更大的大数据存储、分析、管理、成本等方面的挑战。大数据能力向云端集成、融合,大数据平台和大型企业数据中台将促进城市、政务、工业、农业等大数据应用再上新的台阶。
