平安证券 NoETL 指标平台实践:统一数据口径,驱动高效经营分析与智能决策

发布于:2025-03-29 ⋅ 阅读:(31) ⋅ 点赞:(0)

倪程伟|平安证券数据平台负责人

大家好,我是来自平安证券的倪程伟,在此分享指标平台在我们公司的落地情况,也希望与大家做一些交流。我的内容主要是从四个方面展开:平台建设背景、技术解决方案、场景应用效果,以及落地后的思考与未来畅想。

01 平台建设背景

数字化转型是当前所有企业的重要课题,也是平安证券的既定战略。在发掘新的增长机会、全面提升运营效能和合理控制成本支出这三大目标下,平安证券的数字化转型全面展开。通过数字化手段指导经营决策,实现精细化管理成为公司上下的共识。业务部门也明确了数字化发展方向,并对 IT 部门提出了相应的数字化要求。

这其中,构建科学、统一的指标体系是衡量业务质量、驱动战略落地的核心抓手。指标体系能自上而下对齐组织的 KPI,将高层战略目标逐层拆解为可执行、可量化的业务动作,实现全组织目标协同。

从业务场景来看,高层决策层聚焦经营分析与关键性问题解决,例如“如何提升客户服务满意度”,通过专属分析将战略诉求转化为可落地的方向;中层管理团队则围绕产品、运营、员工及薪酬四大维度展开深度分析,确保资源分配与组织效能最大化;基层执行层注重策略计划的实施与动态优化,通过过程监控、结果统计与效果分析形成闭环管理,保障执行精准度。

而指标体系在这一过程中有以下几个方面的突出价值:

  1. 统一数据口径:随着业务规模、数据规模不断扩大,用数场景持续增长,不同业务部门对同一概念的命名和定义可能不一致,数据口径冲突会直接影响决策效率和质量。通过统一的指标体系建设,可以避免因定义模糊导致的信息断层,提升跨层级和跨部门的协作效率;
  2. 提升组织效率:过去公司依赖大量静态报表来获取数据,但这种方式无法满足实时、快速支撑决策的需求。因此,公司需要将静态报告升级为动态闭环优化,通过数据实时反映和评估策略效果并快速迭代,明确公司上下共同的目标体系,确保全员朝着同一方向前进。
  3. 优化资源配置:指标体系的另一个重要的目标是有效评估资源投放的合理性。具体而言,要明确哪些业务适合进行战略性资源投放,以及哪些业务能够在短期内带来效益,从而实现资源的优化配置。
  4. 支撑科学决策:公司希望各个层级的管理者能够基于数据进行业务判断,避免“拍脑袋”决策。指标体系通过量化业务过程与结果,为管理层提供客观数据支撑,助力精准定位问题与改善方向。

在进行统一的指标体系建设之初,我们也针对既有痛点深入地分析了其背后的根因。

第一个较为普遍的痛点是报表口径不统一。报表经过多年的积累,开发人员可能已经更换多轮,导致难以追溯报表数据的来源和开发逻辑。因此出现同一个指标在不同报表中的定义和计算结果不一致,以及报表更新滞后于业务口径更新的情况,且难以解决。

口径问题背后的原因可以归结为以下 2 点:

  1. 指标定义分散:指标定义分散在各个报表中,缺乏统一的共享机制,导致重复定义和口径不一致;
  2. 数据建模局限性:虽然数据仓库的数据建模能够解决部分标准化问题,但无法完全覆盖报表口径的统一需求。

第二个痛点是重复开发,需求响应慢。报表数量众多,但实际业务价值不明确。开发工作分散在不同团队和人员手中,加上人员变动等因素,导致同一报表可能被多次开发,而之前的开发成果却难以找到和复用,缺乏有效的管理和整合。另一方面,传统 ETL + 数据集的生产模式下,报表开发周期长,灵活性差,业务需求难以被灵活快速满足。

第三个痛点是信息呈现多但数据洞察少。虽然展示数据是基础,但仅展示数据并依赖人工分析是不够的,这种方式容易受到主观判断的影响,缺乏对数据的全局解读和洞察。很多时候,我们只能看到表面的总体数据,而难以深入理解数据背后的各种维度和变化。因此,公司希望通过系统化的归因,乃至结合大模型和更多上下文信息,提供更全面的报告,从而更好地指导决策。

02 技术解决方案

针对前面提到的痛点,我们提出了一个解决方案,主要围绕公司内部经营分析数据体系展开建设,其核心思路是将业务线和 BI 线对齐,以契合数字化经营场景的需求。

在业务线方面,我们需要将整个业务流程与数据全景图进行对应,确保业务逻辑与数据逻辑相匹配。同时,要从指标层面进行指标库和数据仓库的拆分,并将这些指标统一在一个系统中落地,以及建立相应的机制来保障数据开发的效率和数据质量的可靠性。

在具体建设上,我们在公司现有的数据平台和基础设施上,重点通过高效、灵活的三层架构支持数据体系落地:

第一层是查询引擎加速层:通过引入 OLAP 引擎的快速查询计算能力,实现了从底层明细数据到上层指标汇总数据的快速计算。

第二层是指标灵活配置层:通过 Aloudata CAN 指标平台的指标定义能力和标准化的 API,实现了指标的“一次定义,处处使用”。Aloudata CAN 的 NoETL 物化加速机制结合高效的计算引擎,能够确保指标和维度的任意灵活组合能快速实现查询结果的返回,代持了传统的宽表开发,显著降低数据开发的成本。同时,它还能让业务人员更清晰地了解指标的定义,并在流程上实现对指标的管控。

第三层是业务自助消费层:通过将公司内部的“微卡片”平台与指标平台打通,利用指标平台的 API,可以将指标对接到微卡片平台。这样在数据展示和智能分析的两个阶段,都实现了指标“一次定义,处处使用”的效果,进一步提升了指标的共享和复用能力。

对业务的价值是什么呢?主要在于以下五条:

一是业务部门能够自助消费数据。他们不再每个需求都要求助研发人员,可以通过业务语义来定义数据需求,不用写代码就可以按需制作卡片与报表,灵活探查不同的视角和数据粒度。

二是提升数据开发效率,释放了数据开发人员的能力,使其能够更多地投入到更高价值的业务赋能和数据洞察中,而不仅仅是专注于 ETL 工作。

三是搭建起分布式的开发体系。公司内部存在多个子部门,过去存在指标重复开发、口径不一致的问题。通过统一的指标平台可以实现指标的共建复用,并能将指标的开发和管理权责落实到数据产生的业务部门,避免数据在中转过程中出现口径不一致或开发理解上的问题。

四是通过采用逻辑化的数据架构,公司能够将数据开发与数据仓库解耦。这种架构设计不仅避免了过度依赖数据仓库,还能通过轻量化的方式降低数据平台的复杂性和成本。

五是平台化赋能策略,可以将可复用的组件,如指标、微卡片等,通过平台化方式提供给业务部门。这些平台之间相互联动,例如指标平台与微卡片平台的紧密结合,共同构成了公司指标平台的整体架构,从而实现对业务的高效支持。

这是我们公司的整体数据架构,底层是大数据平台,提供数据存储和基础计算能力。中间一层是指标平台及其计算引擎,负责指标的定义、管理和计算,在整个架构中起到承上启下的作用。上面是展示层,通过“微卡片”等形式将指标数据可视化,以直观的方式呈现给用户。通过这种架构,我们能够确保指标“管得住、拿得到、用得好”,更深度地去赋能业务。

目前,通过指标平台,我们已经实现了指标的定义、管理和监控等功能,建立起统一的指标库,并能够支持多种业务场景,包括看板、驾驶舱、灵活分析和自助分析。同时,在维度归因方面我们也取得了一定进展,并加快探索对话式 BI,现已开发出一些小型演示 Demo。

指标平台的建设具有重要价值。它采用开放式架构,嵌入到公司现有的数据和产品体系之中,并与原有数仓打通,成为公司数据体系中的一个非常重要的引擎。我们可以看到,指标平台与公司的策略平台、标签平台等实现了交互,这样一来,能够确保业绩分析和客户洞察、业务动作数据的一致性。此外,在引入指标平台的过程中,我们还通过与 OLAP 引擎的结合解决了大数据量下的查询灵活性和响应性能问题。

这个是刚刚提到的“微卡片”平台,它实现了与指标平台的数据源打通,能够获取指标平台的数据源,进行卡片配置和组装,并将这些卡片嵌入到各种业务系统中,从而提升数据的共享和复用能力,进一步支持业务的灵活展示和分析需求。

03 场景应用效果

效果一:指标设计方法升级

过去的数据仓库开发模式是从最原始的数据开始,通过 ETL 操作将数据逐步加工,先到 ODS 层,再到 DWD 层,最后汇总生成各种宽表和汇总表,以支持业务分析。然而,这种模式导致了重复开发、口径不一致等问题,这些问题主要集中在宽表和汇总表的爆炸式增长阶段,造成了混乱。引入指标平台后,公司通过系统化的管理方式,利用语义模型进行约束,并采用原子指标、派生指标、复合指标的架构,规范化管理指标,将数据口径与 BI 解耦,极大降低开发和管理复杂度。

而通过系统化地管理和整合各种业务语义和数据定义,我们还实现了对业务元数据资源的挖掘。这些元数据不仅是数据管理的核心,也为数据智能应用的丰富性和多样性提供了支撑,为未来业务的创新和扩展提供了更多可能性。

效果二:策略动作分析闭环

通过指标平台与策略平台的打通,我们实现了对策略动作的深入分析。具体而言,公司内部会设定一些关键指标,并将这些指标分解到各个运营团队,例如用户经营或策略投放等。通过指标体系与策略动作的快速闭环,公司能够清晰地了解每一个策略对指标的贡献度以及影响范围,从而帮助公司识别哪些策略是有效的,哪些策略效果不佳,筛选出更有效的策略,实现更精准的资源投放。

效果三:业务经营分析提效

通过建立“管研用”一体的指标体系,和灵活的卡片展示与组装,公司实现了数据层和展示层的口径统一和上下对齐,提升了经营和运营效率。

  • 统一口径:通过指标平台,公司确保了数据的“数出同源”,即所有数据都来自统一的源头,避免了数据链路和口径不一致导致的混乱。

  • 数据管理与溯源:公司能够管理和追溯业务数据的衍生方式,了解数据从原子指标到派生指标的转换过程,确保数据的准确性和一致性。

例如,当发现某个数据与另一个地方看到的数据不一致时,我们可以直接在指标平台上,了解这种差异是基于什么时间维度或业务维度而产生的。这种透明度可以让我们更好地明白差异的来源,也更好地理解分析需求。

从数据表现来看,指标平台的应用效果显著,尤其在降低开发成本和实现规范管理方面成效突出,而规范的管理不仅提升了我们的运营水平,还能为各种应用的拓展和丰富提供支撑。

04 落地思考与畅想

在建设过程中,我们认识到落地指标平台的前提是要对业务逻辑进行梳理。因为指标是对业务过程的衡量,若要建立指标体系以帮助业务更好地衡量成果和经营过程,就需要有清晰的业务体系和指标映射关系,以及底层数据架构来承载。而指标的数据源需要保证完整性、准确性,并可追溯到更前端的源头。

在实施过程中,则需要将指标平台融入数据架构,作为业务、产品和研发的桥梁,以确保数据治理与业务紧密结合。同时注重维度管理和指标平台的衡量标准,如性能、用户数、看板需求覆盖率等。

未来,Chat BI 将促使数据分析从报表时代迈向智能决策时代。从业绩分析到客户洞察,再到策略分析,利用 Chat BI 进行日常取数、归因分析和生产分析报告,推动数据智能化应用。指标平台作为 Chat BI 实现精准分析和规模化落地的基础设施,将持续发挥重要作用。

以上就是我今天分享的全部内容,谢谢大家。