加入收藏 | 设为首页 | 会员中心 | 我要投稿 泉州站长网 (https://www.0595zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

策画数据管理来体现价值

发布时间:2021-07-05 19:44:19 所属栏目:大数据 来源:互联网
导读:有一家领先的矿业公司拥有数百个运营数据源,这些数据源分散在多地的小仓库中。该公司每创建一个新的分析用例或数字应用程序都需要花数月时间进行数据发现、数据提

有一家领先的矿业公司拥有数百个运营数据源,这些数据源分散在多地的小仓库中。该公司每创建一个新的分析用例或数字应用程序都需要花数月时间进行数据发现、数据提取、数据清理和数据管道工程设计,因为它几乎没有数据文档和通用的标准可用。该公司启动了一项集成的技术现代化计划,该计划涉及从内部部署到基础的云优先方法的转变以及一个数据操作模型,该模型基于联合的,标准的数据架构和规范的基于域的数据治理而扩建。这样就可以创建可重用,可持续和易于访问的数据资产,从而大大减少数据工程的时间并提高应用程序的稳定性和可维护性。数据域以用例和价值回馈的方式与业务一起得到开发和实施。

我们的研究表明,这个例子并非异常。如果没有清晰的可用数据,数据用户可能要花费30%到40%的时间来搜索数据,如果没有可靠的数据控件,他们可能将20%到30%的时间用于数据清理。而高效的数据治理可以减少这类麻烦。建立数据字典,创建可追溯的数据沿袭并实施数据质量控制,这些做法可以显著提高生产力和绩效。

同时,公司不想施加太多的限制而导致治理本身成了一个代价高昂的障碍。只要关注范围,将严谨性与风险结合起来并应用技术,组织就可以帮忙取得适当的平衡。我们建议组织根据需求,价值和风险来确定工作重点,而不是试图治理所有的数据源和使用。例如,先进的组织往往会限制数据治理的范围,如少于50个报告和2000个数据元素。

考虑到合规性和其他需求,组织必须做出调整,搞清楚哪些活动需要最严格的数据协议,哪些活动仅需要基本的数据卫生。例如,营销组织可能希望对敏感的客户数据采用比事件计划数据库更为稳健的控件。组织在所有的功能间取得平衡——从数据字典的广度和深度到应用数据控件的频率和精度。例如,有一家北美银行在数据沿袭上(data lineage)花费了1亿多美元,它通过缩减所需的粒度(从数据元素级别到数据馈送级别的粒度)并在数据元素样本中进行交易测试来做出补偿。

善用技术还可以提高绩效和成本。有一家北美银行的反洗钱(AML)流程的误报率高达95%。该银行的40人反洗钱团队为了找出这些误报的案例而不堪重负。为了解决这个问题,首席数据官们严格遵守机器学习模型的合规性和分析,该模型减少了误报次数并将反洗钱帐户审核工作减少了75%。

(编辑:泉州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!