当前 数据要素的重要意识已经深入企业内部 但从数据要素到数据资产化的过程中 企业面临诸多困扰 数据要素如何采集?如何存储与保障数据安全?如何进行数据的处理与分析?如何建立数据要素全流程管理过程?形成数据资产后如何发挥数据资产的价值来驱动决策?数据资产如何实现变现?数据资产如何发挥核心价值?……
日前 为深度解析这些问题 推动中国企业数据资产化管理工具市场健康发展 海比研究院、中国软件网联合中国软件行业协会在京举行《2021中国数据资产化工具市场研究报告》发布论坛 本次发布论坛邀请多位业内专家出席活动 就数据资产化的产生背景、发展历程、典型工具、行业概况、技术水平、市场规模、竞争格局等方面深度解析 共绘数据资产化工具市场未来。
阿里云数据库产品事业部OLAP 生态工具产品负责人、高级产品专家蔡冬者出席本次论坛 就《数据库大数据一体化加速企业数智化创新》进行了精彩分享。
?阿里云数据库产品事业部OLAP 生态工具产品负责人、高级产品专家蔡冬者
在互联网经济时代 数据已经被列为新的生产要素 其与土地、劳动力、资本、技术并列为五大生产要素。数据的重要性不言而喻 越来越多的企业把数据作为战略资产 以数据运营提升企业竞争力。
企业数据资产化应用之前需要经过复杂的数据采集、数据集成、数据清洗、数据建模及数据治理。当前企业有丰富的数据来源 包括生产数据、日志数据、IOT数据以及第三方市场数据。从IDC报告反馈 企业数据具备规模爆炸性增长、实时化、智能化及加速上云等特征。这对数据资产化各环节的工具都提出了海量、弹性、智能化、实时、多模及低成本等业务诉求。其中
【1】?海量 随着移动互联网、物联网及5G技术的成熟及普及 企业可采集的数据呈现爆炸性增长的趋势 据IDC报告说明 2020年全球数据规模达到40ZB。这也就对数据资产工具提出海量存储、海量数据计算、弹性及低成本分析的诉求。
【2】?实时 越来越多的企业利用数据驱动业务增长。例如以购物推荐为例 转化率较高的系统需要根据用户的实时行为进行个性化推荐。相较于传统数据分析漫长的计算流转流程 这就要求数据资产化工具要能够满足数据从采集到应用的低延迟诉求。
【3】?智能化 企业非结构化数据占比越来越高 数据资产工具除了支持结构化数据外 也要能够深度挖掘应用非结构化数据。这就要求数据资产工具要具备多模数据的存储、计算能力。
在数据资产化过程中 数据存储及处理系统发挥着至关重要的作用。为应对企业不断变化的数据资产化诉求 传统大数据技术【以开源hadoop为代表】推出众多垂直的技术体系 通过组合OLAP、离线计算、流计算、搜索引擎等系统满足企业多样化的分析诉求。而不同技术体系之间通过复杂的ETL逻辑进行数据交互 整体方案复杂度高、经济成本及学习成本非常高。
?
从业界趋势上看 数据处理系统经历了“商业数据库”、“传统数据仓库”、“大数据技术”到今天的“云原生数据仓库”。 由于传统数据分析系统存在扩展性、容量、性能、架构复杂等问题 今天企业数据处理系统已经在加速向“云原生数据仓库 云原生数据湖”演进 这里面的典型代表有 snowflake、AWS redshift、AWS Athena、阿里云AnalyticDB及Azure/阿里云DLA。
所以 我们认为下一代围绕“云原生数据仓库 数据湖”的数据处理系统 应该具备如下的特性
【1】?在离线一体化 一套系统支持交互式分析、离线计算、实时更新、高并发点查及机器学习。通过一套系统 实现离线实时数仓一体化 企业无需学习应用多套技术栈 简化技术架构。同时 统一系统可以避免数据重复及不一致 显著降低成本。
【2】?云原生 分布式 借助云计算的新型技术架构 实现存储计算分离 同时结合分布式技术架构 实现海量数据的存储及计算诉求。
【3】?智能化 相较于生产业务 数据分析逻辑复杂度极高 数据处理系统需要能够实现自治以降低数据分析门槛。“自治”能力包括异常自感知、自决策、自优化及自恢复。
【4】?多模 企业数据越来越多样化 除了结构化数据 半结构化及非结构化占比越来越高。数据处理系统需要具备多模的能力 能够支持半结构化、非结构化数据 且能够提供多样的计算能力。
【5】?软硬件一体 近年来新硬件在性能、时延方面不断创新突破。通过软硬一体化深度集成 可以充分利用硬件及深度优化优势 提供更有竞争力的数据处理系统。
【6】?安全可信 安全可信是用户在选择数据处理系统很重要的考量因素。安全可信包含存储安全、访问安全及安全审计等。数据处理系统需要构建安全可信能力 解决企业安全顾虑。
在企业数据资产化进程中 阿里云提供了资产化过程中每个环节涉及到的工具产品 主要包括 数据传输DTS、数据管理DMS、云原生数据仓库AnalyticDB、云原生数据湖DLA、Dataworks、智能数据构建Dataphin、QuickBI、DataV以及众多的生态产品。
对于数据资产化过程中使用的数据处理系统 阿里云一直在探索云原生数据仓库和数据湖的数据方向。
阿里云在数据库推出了云原生数据仓库ADB 加上云原生数据库构建的数据资产存储和分析的解决方案。我们提供了两款产品 第一个云原生数据仓库ADB产品 这个产品是全面兼容PG/Oracle。第二个产品云原生数据湖 围绕阿里云上面的对象存储 大数据的分布存储构建的数据湖分析平台,在数据资产变现、数据治理、数据资产方面也做了很多的优化。
二 AnalyticDB (ADB) 整体介绍
上图为ADB整个技术架构 总共分为三层。
最底下的一层是存储层 最上面那一层计算引擎层 解决交互式分析一体化 解决了几实时性、离线计算以及多维度的点查场景等问题 做到一体化。
三 AnalyticDB (ADB) 云原生数据仓库
?
ADB的存计分离提供了计算弹性能力 冷的数据分层以后 在成本、性能方面解决海量存储的问题。
此外 ADB提供了完整的生态兼容 兼容数据库的生态体系。
在Serverless存储 智能索引满足不同数据类型的扫描分析 我们做了很多计算下推 才能满足更实时的要求。
上图为冷/热数据分层 以前冷的数据一定要通过两套系统来做 上面这套架构里面自动做冷的数据分层。?
五 AnalyticDB (ADB) 在离线一体化
经过很多技术优化以后 我们也做了国际权威的认证 在TPC-DS和国际榜单的打榜取得第一名的成绩 性价比相较第二名是四到五倍的优势。
云原生数据湖目前各大厂商都在做 从市场心智来说 国外相对成熟 中国还处在启蒙的阶段 因此还需要做强企业的引导。
数据湖的优势是围绕用户开放存储 对数据的开放性与二次研发能力 计算引擎对接上面都是更开放的 对用户来说数据存储扩展性也更好。这带来了另外一个问题 它不是端到端的一站式解决方案 在引擎、数据上面无法做无缝衔接的 差距较大 下面简单讲一下我们在数据湖上的解决方案。
开放存储、统一元数据、开放计算、Serverless计算
整个数据湖最底下是存储 以前大数据分布式的文件系统叫做DMS 再上一层是缓存层 数据湖底下的设备不是真正为数据计算而存储的产品 在性能计算方面 不管是带宽还是计算下推的能力非常有限 一定要设计一套缓存层。
再上面就是计算引擎层 我们提供两个 一个是Spark 另外一个Presto 未来也会根据企业的诉求扩展引擎计算能力 相对于以前的大数据来说 成本大幅下降 从用户使用情况来看至少是三倍的优化。
用户要构建数据湖 我们主要解决用户数据湖的构建问题 包含原数据的发现 以及存储付费成本问题 解决企业对成本的诉求。
在传统的银行中 DB2使用广泛 1970年的数据库承接在线交易也承接数据分析的诉求。农商行做了很多互联网化的转型 当发现它的数据已经无法支撑 分析计算扩展性存在局限 有很多是软硬一体 软件方面扩展器是单机的 而且由于是海外产品 支持的服务成本较高 按照我们的方案全面升级后 成本优化了很多。
二 中国邮政 全国大集中
?
中国邮政在全国各个省有许多分公司 这些分公司早期的数据资产都是独立的 形成数据孤岛。中国邮政希望做全国的物流与成本优化 将全国的公司盘点起来做全链路的优化 因此选用了ADB产品 把全国省市大集中 做物流链路的优化和分析 解决了以前数据孤岛的问题 分析性能有大幅度的优化。
?
三 天猫双十一
?
在天猫双十一的时候 除了帮助生产交易系统呈现丝滑般效果 在分析系统方面我们也承载业务大屏 解决实时应用和辅助决策的问题。
本文转自网络，原文链接：https://developer.aliyun.com/article/783369
相关文章
精彩导读
热门资讯