今天,企业对数据越来越重视,数据已经成为了企业新型的资产,甚至是核心资产,最近流传一句非常有意思的话:从比特到信息,这说的其实就是企业数字化转型,让数据的价值充分发挥出来,变成信息。
企业数字化转型核心就是在对自身数据深度认知的基础之上,管好数,用好数。然而这其实是一个非常不容易的过程,它面临着三道急需跨越的鸿沟:
第一道鸿沟是数据孤岛,传统的IT信息架构建设是应用驱动着往前走,存在“数据碎片化”,各企业和部门信息化程度不一样,系统建设也自成体系、数据融合困难;举个例子,一个中型的医院有超过50个应用系统,一个省下辖的各级部门超过70个,面临着数百种不同的数据类型。
第二道鸿沟是对数据缺乏有序的管理:从2019年的几份咨询报告来看,企业数据的利用率不到20%,超过80%的数据在沉睡,大部分企业对自身数据宝藏的认识还远远不够。
第三道鸿沟是缺乏系统的安全管理,导致大家想用数,但又不敢放心的用数:企业数据责权不一样,管数,用数的部门也往往不同,而企业的决策确又越来越多依赖全局的信息汇聚,如何安全的管理数据,使用数据是要解决的核心问题。
融合、开放的云化数据运营平台,释放数据之美
面向企业数字化转型,华为云打造了融合、开放的云化数据运营平台DAYU,协同伙伴,使能“从比特到信息”的价值发现,释放数据之美。
华为云大数据产品总监杨兴华
DAYU取名来自古代英雄大禹的名字谐音,寓意着管理、治理“数据”这一汪价值之水,在去年发布的1.0版本基础之上,进行了架构优化以及新特性的增强,下面来看一下DAYU的几个核心特点:
1.全域联邦数据资产管理:支持超过30+的数据源对接,通过河图引擎的虚拟入湖技术,实现跨源跨域的数据发现与连接,这有效的打破了数据孤岛,形成数据融合协同,同时也不破坏原有的IT系统建设,达到“立而不破”的效果。
2.开放的架构体系:围绕数据使用,构建端到端的完善的工具平台,秉承着“黑土地”的思想,今年又重构了整体架构,重心面向伙伴协同,打造开放体系,提供分层API接口供伙伴调用,包括基础的集成开发,元数据管理、安全管理,数据开放,以及高级的质量管理,数据模型,资产运营等,伙伴可以根据自身系统和业务特点按需集成。
3.共享型行业资产模型:在资产运营管理框架基础上,采用模型驱动的理念实现资产的一键注入、导出、自动化管理,数据资产化效率实现3倍提升,支撑伙伴快速构筑行业数据资产生态
下面来详细看一下今年重点强化和新增的两大特性:统一元数据管理和安全管理。
全域数据统一视图,让用户对数据资产深度“认知”
元数据管理是整个数据运营平台的基础,也是核心,它很大程度上决定了对数据认知的深度。DAYU围绕数据目录、资产地图和数据血缘,打造了进阶式的数据资产管理体系。
统一数据目录支持元数据的自动采集和更新,在数据类型上支持像表结构,文本等结构化数据,也支持图像,语音,视频等非结构数据,对全域数据构建统一的逻辑视图,帮助企业形成数据的“一张网”。
资产地图的管理,借助了华为自身十几年数据管理体系建设的方法论,支持匹配企业信息架构的技术资产、业务资产、指标资产管理,具备资产分类和资产标签能力,实现自定义按需“管数”;同时支持资产概览,自定义资产报告能力,也内置华为自研的高性能搜索引擎,实现秒级“看数”。
而数据血缘管理则对数据的关联关系有了进一步解读和认知,借助华为领先的大规模图计算技术,采用图模型管理,对数据上下游的变化过程实现了完整的刻画,全方位的展示了数据的前世今生。
全流程统一数据安全管理,让用户放心“用数”
下面再来看下数据安全管理,DAYU从最开始就围绕数据规划了完善的安全管理能力,主要包含五大版块:权限管控,合规审计,敏感发现,隐私保护,风险管理。
权限管控,同时支持基于角色和基于属性的两种访问控制模型,对各类数据资源和标签实现自定义授权,目前对数据的细粒度管控实际上以及做到了:库,表,列,视图级别。
合规审计:与数据权限管理实现联动,对全流程的数据操作日志进行审计,支持自定义的合规检查报告。
在敏感数据发现模块:支持对数据的分级分类,同时还结合了AI的方法,实现自动发现能力,未来在内置规则方面,将会结合各类数据安全标准的要求,持续丰富。
隐私保护也是安全管理的一个核心,结合华为云完备的基础安全能力,面向数据使用过程,DAYU致力于打造全流程的数据安全隐私保护,目前已经实现了数据加密,数据脱敏,数据水印等技术,其他特性也将在未来的几个月陆续推出
在用数的过程中,风险管理也同样重要,目前已经做到了对风险的实时预警管理。
携手伙伴与DAYU协同,使能行业数据价值释放
DAYU推出一年多以来,其端到端全流程数据可视管理,一键式资产沉淀能力,加速了企业数字化转型的进程,受到行业伙伴和客户的欢迎,目前已经在能源,政务,教育,园区,机场,工业制造等行业广泛应用。
华为云大数据将围绕数据价值使能,坚持架构开放,持续丰富各层级的API,进一步普惠伙伴,助力伙伴快速沉淀行业数据资产。