根据 Fivetran 最近的一份报告，拥有标准化且完全托管的数据管道的企业，其投资回报率 (ROI) 可提升 45% 。该报告显示，标准化且完全托管的数据管道有 45% 的概率超出 ROI 目标。而如果没有标准化和管理，超出 ROI 目标的概率则降至 27%。
数据管道标准化和管理的主要障碍之一是遗留技术；Fivetran 发现，遗留和 DIY 管道的故障率比标准化管道高 30-47%。
Forrester 高级分析师 Jayesh Chaurasia 表示：“企业通过优先考虑关键的高影响力数据、通过避免成本和创造新价值来衡量投资回报率、利用标准化通过 KPI 提供增量收益以及利用工具来降低边际成本（即使无法完全证明投资的合理性）来平衡成本和时间与投资回报率。”
标准化还能为 AI 就绪环境提供更高的可靠性和更低的成本，这可以解决在企业环境中推广 AI 时长期存在的问题。
然而，要让组织能够优先处理关键的高影响力数据，并建立完善的基础设施来全面管理数据管道，说起来容易做起来难，因为组织在标准化方面举步维艰。Chaurasia 指出，标准化也面临诸多挑战，最常见的包括语义不一致、遗留数据和嵌入式技术债务、过度标准化以及组织内部摩擦。
语义不一致
组织通常会制定数据分类、标记和存储的规则和标准，但不同的团队仍然可能对不同的数据集使用相同的术语。例如，一个团队在谈论产品时可能会使用缩写或首字母缩略词，而其他团队则不会。对于国际组织而言，美国的团队可能使用磅作为重量单位，而其他国家的团队则可能使用千克。这种情况会导致仪表盘和关键绩效指标 (KPI) 中出现信息冲突。诸如此类的不一致会使标准化工作更加困难。
遗留数据和嵌入式技术债务
传统数据管道通常包含支持报告和监管申报的关键数据。由于担心违反信任和合规性，这些管道也很难更改。优先考虑速度或维护实践不佳的组织最终可能会积累技术债务。这会导致数据管道的开发速度和效率降低，以及维护工作量增加。
过度标准化
制定规则对数据管道来说固然有益，但规则过多有时反而会引发更多问题。僵化的规则可能会遗漏重要或有用的信息，使系统难以使用，还会降低分析和生产效率。
为了确保标准化成功，团队需要明确谁来制定数据定义或标签的规则，以及如何决定系统变更。这包括了解并就数据所有权和决策权达成一致。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/66106.html
