OceanMind海睿思联合艾瑞咨询发布《2024中国企业数据治理白皮书》
日前,中新赛克海睿思联合艾瑞咨询重磅发布《2024中国企业数据治理白皮书》。白皮书围绕【数据工程】核心方法论,对中国企业数据治理行业的政策背景、发展洞察、实践应用以及发展趋势等多方内容进行解读。
以下引用艾瑞咨询原文:
企业数据治理丨白皮书
核心摘要:
本报告将描绘中国数字化转型的宏观环境及市场驱力,剖析企业数字化转型过程中面临到的核心数据问题,点出数据治理的战略性与重要性,并确立数据治理的范围原则,洞察数据治理的行业规模与供需市场,推出【数据工程】方法论,改变传统方式规划与实践“两张皮”、对业务感知弱、缺乏业务价值、数据管理缺乏体系等弊端,实现业务驱动、高效落地、价值体现、管理规范。并以制造业、能源业等行业场景为数据治理实践样本,呈现相关产业在数据治理的诉求、进程及方法,结合头部公司标杆案例,最后对中国数据治理产业的发展趋势给出分析及建议。
政府侧:政策支持数据产业优化
明确数据作为生产要素的重要地位,构建数字制度,发挥数据最大效能
近年来,我国从数字经济发展、数据要素基础、企业数据资源入表等角度持续完善数据相关政策,旨在鼓励企业及数据行业厂商深挖数据资源,以数据为生产要素,推动企业高质量发展。去年起,各省市地方也围绕数据要素的利用分别针对性拟定发展方案,提出未来数年发展目标,围绕自身优势禀赋规划适应自身的数字路径。
政府侧:数据管理成熟度模型DCMM
明确数据治理评估维度,帮助企业定位自身能力,优化数据管理升级方向
为完善企业数字化建设、提升企业内部管理能力,2018年我国推出首个数据管理领域国家标准——DCMM。标准将组织的数据能力划分为8个核心能力域、28个过程域以及445条能力等级标准。通过材料评审、人员访谈、问卷调研等方式,借助一套成熟模型工具,对目标企业定级并编制评估报告。
DCMM一方面帮助企业审视自身数据资产的管理现状,认知差距及发展方向;另一方面,其评审也是对数据管理理念的一种宣贯,指导企业开展数据相关人员培训,提升人员数字化技能,增强企业数据管理能力。
产业侧:数据资产已成为重要生产要素
数字技术成熟及经济范式更新,我国数据产量及大数据产业规模高速增长
近年来我国数据资源规模高速增长,2023年总规模达到32.9ZB,2017-2023年复合增长率为27.6%,是我国同时期GDP复合增长率的5倍有余。数据已成为国民经济的重要生产要素,企业通过汇集、整理、加工与分析实现数据的价值释放,指导企业包括资源分配、流程管理和战略规划等一系列生产经营决策。
我国大数据产业规模上升幅度与数据产量增幅大致相当,2017-2023年复合增长率为28.0%,2023年规模达到2.2万亿元。这一方面得益于Hadoop、Spark、Flink等开源技术更加成熟;另一方面也是数字经济下消费、生产等各类经济行为全面的由线下向线上迁移的结果;随着近年来以大模型为代表的AI技术突破式发展,大数据找到了全新的天然应用场景,经过治理的数据成为大模型训练的“食物”,支持模型的精细打磨和泛化应用。
产业侧:数据治理行业性差异明显
制造业、工程设计、创投、能源、交通、医疗六大行业数据特征、痛点及需求
企业侧:数字化转型已进入深水区
转型面临战略制定、数字基础薄弱等深层问题;数据治理是核心关键因素
当前,企业在数字化转型中面对的问题逐渐深层化、本质化。主要表现为:从引入何种数字化工具、如何彼此搭配组合的“战术问题”,向如何全盘规划数字化路线、在企业战略层面进行部署的“战略问题”转变,从而避免走向“资源消耗不可控、转型成效不可知”的死胡同中。另外,数据的采集、清洗、整合、集成等底层问题也愈发凸显,企业关注点从数据应用领域有所下探,希望优先夯实数字基础,从而在之后的分析及应用环节中实现数据价值的最大释放。
另一方面,在企业数字化的整体建设架构下,数据治理处于核心位置,对下承接算存网等底层物理资源,对上输出可供数字化呈现的企业管理数据资源。相对于前台应用系统与后台基础设施的直接上线或购入,如何治理数据是对企业“内功”的考验,经过数据治理的企业才能把业务与数据相互打通、逻辑理顺,让数字化真正内嵌于企业本身,释放企业数字化建设的最大价值。
企业侧:数字化转型下的数据治理
治理需求由业务向数据渗透,治理价值由数据向业务传导
数字化已成为各行业中企业的重要战略。回顾历史,数字化工具的应用应被视为企业数字化发展的第一阶段,但种类繁杂的数字系统的上线,本质上是企业线下流程到线上流程的转移,并没有让企业效能实现质的飞跃,同时各类工具、系统产生的“数据垃圾”反而成为操作者的负担。
在过往的实践中我们逐步意识到数字化的本质不在于使用数字工具的表象行为,数据以及它如何服务于业务才是核心。在此思路下,数据治理成为新一阶段数字化的重点。从业务出发,反推企业数据治理需求,在完成数据治理这一底层基础任务后,设立指标体系,构建业务数据模型,从而充分发挥数据使能作用,指导企业人员的综合运营。
数据治理模块及功能
以业务需求为导向的数据治理,将数据与业务紧密结合,形成企业业务数据地图,实现数据价值最大化
企业通过业务数据地图的梳理,可以将分散在多个系统的、由不同厂商在不同时期建设的信息化系统中的数据按照业务需求有序管理,避免传统数据治理建设中只注重技术和数据的局限性。业务数据地图构成了数据治理的基本流程。1)通过对企业全业务流程的梳理,摸排清楚企业业务流程下存在的基础数据资产;2)梳理业务字段间的实体关系、明确业务与数据责任矩阵;3)在企业全域内制定统一的数据标准,连通企业中原有的数据孤岛,并通过质量检核模型实时检测数据标准度的执行情况;4)对标准数据资产进行分级分类,敏感数据进行数据脱敏,保障企业核心数据安全性。基于业务数据地图的治理成果,更贴近企业业务,能够实现一“图”多用,为数据资产建设、主数据管理、指标体系构建、风险监测预警、审计分析监管等方面提供夯实的数据基础。
数据治理价值体现
企业运营状态可视、过程可视、风控可视——基于大数据的强大应用
数据治理的核心价值,除了构建企业数据资产、实现数据流通,更重要的是赋能企业运营管理和业务优化,消除数据与业务的鸿沟,优化运营动作,发现和规避风险,实现降本增效,助力企业韧性成长。
•运营状态可视化:通过大数据技术和能力,帮助企业建设跨系统的数字化运营管理指标体系,掌控运营态势,洞察运营环节,分析运营问题。整理企业运营指标,自上而下层层拆解,追根溯源,实现从经验决策到数据辅助决策的转变。
•运营过程可视化:战略运营管理,助力企业战略规划制定、拆解,将战略眼光转化为战略规划,建设企业发展蓝图;运营绩效评价与复盘,对结果客观分析,优化分配机制和战略规划;运营孪生,镜像企业运营价值链路,全面感知和优化运营。
•运营风控可视化:全面梳理企业业务流程,明确流程中的潜在风险,运用大数据建模分析能力,实现风险点的智能发现,并形成风险管控、审计管理业务的全流程闭环,推动风险事项从事后被动接受向事前主动防范的转变。
供给侧:数据治理厂商类型及特征
“咨询-产品-实施”三段型产业链结构,服务类型呈现相互融合趋势
数据治理厂商按产业链由上至下可分为咨询、产品与实施三大类,咨询类厂商又分为技术咨询与业务咨询两小类。
•技术咨询相对标准化,这一方面因为客户需要使用同一套方案对多家厂商招商,另一方面也是由于DAMA与DCMM等标准体系已经规范了数据治理的基本框架。
•业务咨询则行业差异性明显,厂商需通过大量案例获得经验积累。两类咨询厂商均向产业链中段的数据产品领域进入,将其咨询方法与自研产品绑定,形成完整解决方案。同时,以产品为核心的数据中台/大数据平台厂商也在实践中逐渐形成自身的咨询体系,配合产品对外提供咨询支持。处于产业链下游的实施方多为小型公司,承揽上游大型数据咨询及产品厂商的分包业务。
需求侧:数据治理应用端需求特征
需求依发起者角色定位而有不同,成长期是数据治理进入企业的最佳时点
在需求端,一般由业务部门或信息部门发起数据治理的要求。对于业务部门,虽然缺乏数字化认知,但由于对业务具有较深的理解,因此更重视在业务侧如何建立相关指标与体系;对于信息部门,由于其技术能力较强,因此比较重视数据治理平台和工具的配套能力以及平台拓展与定制能力。
以企业成长路径的视角观察,企业初创期往往聚焦于数字化基础构建,以“堆系统”的方式快速提升数字化水平。但随着系统与数据的逐渐堆积,系统间、数据间的矛盾日益明显,反而成为制约企业效率提升的重要因素。此时正是数据治理进入企业的最佳时点。企业可以通过明确底层数据与业务流程间的映射、规范系统间数据对接,实现效率的二次增长。
数据治理最佳实践
数据工程是一套完整的实现从数据资源到企业价值的系统工程
数据治理的内涵:整体方案架构图
数据引擎封装底层平台能力,无缝支撑数据工程建设
数据工程建设:咨询环节
以数据语言解构业务,线上化咨询,成果直落平台,所见即可所得
企业数据建设是一项系统工程,需要解析业务现象背后的需求原因,针对性地实现落地,才能帮助企业善用数据资产,充分释放数据价值,进一步为实践提供指导。数据工程建设可分为咨询、落地、应用、管理四大环节,咨询环节是企业进行数据建设闭环管理的第一步,其能力和优势体现在三方面:第一,以“业务数据地图”为抓手,翻译业务需求为数据化语言,为数据建设确立目标与路径;第二,咨询过程与成果线上化,协同用户快速完成需求确认与修正,避免信息偏差;第三,咨询成果无缝衔接至数据平台落地开发,大幅缩短数据建设周期,减少成本投入。整体而言,咨询环节旨在帮助企业摸清数据现状、理顺数据在业务中的流向、找准数据与业务的关系,解决技术与业务脱节和咨询与落地“两张皮”难题,让数据应用少走弯路。
数据工程建设:落地环节
基于数据工程咨询成果,落地业务数据地图并开发业务指标、主数据模型、风控模型、审计模型,完善数据管理,支撑数据应用
落地环节中,能够实现落地的内容包括数据资产落地、主数据管理与分发、业务指标开发、风控模型开发以及审计模型的开发等。基于咨询阶段 “业务数据地图”的梳理成果,能够快速落地各业务域下的业务数据地图模型,支持企业快速开展数据集成汇聚、数据标准执行、数据质量优化、数据安全管控、数据血缘分析、数据资产管理及服务。基于主数据的调研咨询成果,能够实现主数据快速接入与处理,以及一键同步咨询阶段梳理的主数据模型并建立映射、构建灵活的分发规则以及对主数据的全生命周期管理。基于业务指标咨询成果,形成业务指标地图、梳理定义业务指标属性、构建指标责任矩阵,为指标应用奠定基础。基于审计风控咨询,沉淀审计风控知识,构建审计风控资源,沉淀审计风控模型,形成审计风控知识库,为企业风控审计提供模型及知识基础,赋能审计风控应用。
数据工程建设:应用环节
聚焦运营状态、过程、风控三大环节可视化,驱动数据决策和业务创新
应用环节的工作聚焦于将数据治理成果应用于实际业务中,推动数据驱动的决策和业务创新,这包括数据资产的管理、数据分析、数据挖掘等。企业需关注数据治理的实际应用效果,确保数据能够为企业带来价值,这主要体现在三个方面:1)数据治理通过直观的可视化手段,将复杂的数据治理过程和成果以图表、仪表板等形式清晰展现,确保数据资产得到有效利用。2)在数据治理的落地过程中,引入低代码开发模式,使得业务开发变得简单快捷。即便没有专业的编程背景,业务人员也能通过简单地配置和操作,实现数据治理的相关功能,降低了技术门槛,提高了工作效率。3)数据治理系统支持自适应式配置,可以根据不同层级用户的需求进行灵活调整,为企业数据驱动的发展提供有力保障。
数据工程建设:管理环节
遵循标准数据管理(DCMM)理念,辅助企业数据组织体系建设、赋能企业核心数据管理能力,并提供便捷化完成DCMM贯标的能力
DCMM数据管理能力成熟度评估模型,是我国在数据管理领域首个正式发布的国家标准,从组织、制度、流程、技术等不同领域提供不同维度的数据整合及管理能力,提供从数据生存周期到数据应用的全过程数据管理。通过开展数据工程咨询与落地,全面覆盖DCMM要求的能力项,包括45项数据管理运营体系(形成数据文化)建设+105项技术平台落地需求,实现从数据战略、数据标准、数据架构、数据质量、数据治理、数据应用、数据全生命周期、数据安全等层面的数据管理。同时,为保障企业数据体系的顺利运营,通过数据工程,提供材料、架构体系的支持,实现持续的数据运营工作,确保数据工程能够有效落地。
数据工程2.0
从“业务流”到“价值流”,镜像企业运营价值链路,担当企业经营触角
数据工程1.0核心围绕企业全业务域梳理业务数据流,形成业务数据地图,帮助企业诊断业务运营健康状况,识别并分析各运营过程的进度或堵点等。数据工程2.0从企业战略出发,以“创造价值”为内核,进一步拉通业务运营与财务数据,形成业务决策与财务核算融合的企业“运营孪生体”,前置化感知企业经营行为对财务报表的影响结果,在企业战略运营、全面预算、成本管控、现金流调度、司库管理等方面,赋能企业通过最佳资源与资金配置,引导并实现价值增值与流动,发挥业财大数据价值。
数据工程的价值
助力企业构建战略→业务→财务→战略的闭环高韧性发展能力
数据工程的价值在于提供一整套包含数据治理、数据落地、场景构建、管理运维的完整数据建设与应用体系,改变了以往大量采购各类数据治理工具,最后却难以落地的现状。以业务流程为指引,通过全流程在线的数据构建能力,打造企业高可用的数据底座,以此促进数据流与财务流、订单流的融合,从而实现对战略规划与解码、业务执行、业绩对标等重要场景的数据驱动,最终完成对企业运营模式的数字化改造,提升企业对多变环境的感知能力,实现数据驱动的可持续发展。
制造业行业痛点及数据治理效果
践行业务驱动数据治理理念,线上化构建业务数据地图,通过数据治理打造企业数据资产基座,实现企业状态、过程、风控可视化管理
数字化转型已成为制造业提升竞争力、实现高质量发展的关键途径。但制造业业务系统MES、ERP、PLM、OA等存在数据孤岛、数据标准不统一、数据质量差等问题,影响制造业全流程协作效率和决策及时性、准确性与科学性,也不同程度的影响着企业战略运营执行,无法满足企业抵御内外部风险的能力要求,最终阻碍企业数字化转型进程。因此,制造业亟需通过业务驱动数据治理,形成企业不同业务域的数据资产,以此为基础孵化各数字化数据应用场景,实现辅助企业经营管理、加强战略执行、提升风险监管的目标。
制造业数据治理典型解决方案
以业务驱动数据治理为理念,基于业务数据地图,围绕企业核心业务域展开数据治理,构建制造业数字应用场景,支持企业经营管理与风险控制
制造业企业的数字系统建设水平相对较高,具备ERP、MES、PLM、OA等运营管理系统管理系统,但这些系统彼此孤立,系统间数据标准不一致、数据质量不高、资产建设薄弱且数据共享能力不足。制造业的数据治理核心是“业务驱动”这一理念,围绕这一理念展开数据治理这一工作,从线上化咨询到落地、到场景化应用以及项目建设前期、中期、后期的运营管理进行阶段性建设。通过对企业经营管理、战略运营、绩效管理、审计风控等场景化建设,从不同维度加强企业经营管理的辅助决策、过程分析、风险管控,加速制造业数字化转型。
工程设计行业痛点及数据治理效果
以项目全生命周期管理为切入点,用数据助力“大象跳舞”
当前,工程设计行业信息化工作仍然存在不足。企业信息系统的信息孤岛普遍存在,工程勘察设计、施工和运维的数据还不能高效共享。设计行业重点关注合同与项目的全生命周期管理,亟需打破传统信息孤岛,基于统一的数据资产进行项目全生命周期的科学决策。住建部印发的“十四五”工程勘察设计行业的发展规划中指出,行业应当侧重管理运营的数字化举措,优化完善现行管理流程与业务系统。在总体数字化战略基础上,小步快跑的敏捷模式能够让工业设计企业跟上市场、业务与技术的变化,少走弯路,并提升数字化举措的投入回报,让传统的工程设计行业这头大象“翩翩起舞”。
工程设计行业数据治理典型解决方案
构建全面的数据治理体系赋能工程企业,提高管控水平
在工程设计类企业中搭建数据治理体系,帮助其串联内部多系统数据以及外部招投标实时数据,完成主数据治理以及各主题域的指标体系建设。具体可结合数据工程体系分析,着眼于咨询、应用、管理三方面:1)咨询:定义数据的模型结构和编码规则,为用户明确主数据(如客户、产品、供应商等九大类)的管理和维护流程,建立高效的数据集成和分发机制;2)应用:为企业经营者提供统一的数据视图,支持对企业全域数据直观认知,并提供系统性、智能化决策;3)管理:帮助用户构建日常数据运维的标准化流程,确保数据的持续稳定运行,并为数据管理提供制度保障。
创投行业痛点及数据治理效果
立足数据视角驱动全局数字化转型构建创投业务全生命周期运营管理与数据洞察体系
中国投资市场历经三十载耕耘,已成长为全球瞩目的繁荣市场,同时也意味着优胜劣汰加速、竞争更激烈,对投资机构运营能力要求更高。创投机构需要从投、管、退等各个业务环节对投资项目进行管控,管控周期长;且投资项目多,决策材料多,决策者无法在会前快速掌握项目情况来辅助决策,难以全盘掌握基金使用情况以及项目信息,基金健康分析难度大;同时基金多、人员多、项目多、项目区域分布广等因素,使得创投机构难以分析投资人员的分布情况、项目投入是否合理等,无法对人力资源合理分配与调度;因此企业需要通过数据融合与治理,围绕项目、基金、人员、财务等核心业务流程,建立投资业务全生命周期的数据洞察分析体系,助力创投机构提高投资专业力。
创投行业数据治理典型解决方案
构建多模块事实洞察与线索分析,帮助企业以数据驱动业务优化
创投行业数据治理为企业用户提供了一个全面的解决方案,它首先支持离线数据的采集,并将这些数据与企业的ERP系统进行深度整合和治理。通过这种整合,企业能够构建包括线索、项目、基金在内的多个业务模块的事实洞察和详细线索分析,从而获得更全面、更深入的业务认识。其所构建的数据仓库在这个过程中发挥着至关重要的作用,它能够通过关联回溯机制,有效解决ERP系统中可能存在的数据不一致、数据缺失或数据勾稽关系核查困难等问题。这使得输出的各项指标具有高度的一致性和准确性,为企业提供了以数据驱动业务优化的坚实基础。
数据治理趋势(1/3)——工程化
数据治理逐步摆脱对工具的简单使用,转向更加工程化的整体建设思维
企业需要更加积极拥抱新技术、新手段,将企业数据治理项目建设的效率提升一个台阶。一方面,企业需要认识到体系化的建设工程的价值与意义;另一方面,企业需要探寻与引进支持全流程线上化、无缝化的数据治理与应用工具及平台。
数据治理趋势(2/3)——业务驱动
数据治理的驱动力需要由数据本身驱动切换至业务驱动
业务驱动就是以业务需求为导向,从数据出发,实现数据的价值挖掘和应用。
业务数据地图是实现数据的工程化建设的核心抓手,它强调数据与业务的紧密结合,从而实现业务价值的最大化。
业务数据地图可以避免传统数据建设中只注重技术和数据的局限性,能更好地支持业务的发展和决策。
数据治理趋势(3/3)——透明化
引入可视化数据治理平台,洞察数据治理全过程
前瞻性研究分析指出,以DataOps为例的体系化思维与工具将有效支持企业进行数据工程的建设。
从前期的数据类咨询开始,到数据体系的构建过程、后续的管理与运维的全生命周期,通过线上工具将实时工作进展、未来建设目标、过程问题点等进行透明化管理,做到所见即所得,提升业务用户与管理者对于数据治理工作的感知度。