数据治理：管理数据资产的最佳实践框架_大数据技术

数据治理定义了角色、责任和流程，以确保整个企业对数据资产的责任和所有权。

大数据背景1

01、数据治理定义

数据治理是一个用于定义组织内谁对数据资产具有权限和控制力，以及如何使用这些数据资产的系统。它包括管理和保护数据资产所需的人员、流程和技术。

数据治理研究所将其定义为一个根据商定的模型执行的"一个与信息相关的决策权利和责任系统"。而该模型描述了谁可以使用哪些信息，采取什么行动，以及何时，在什么情况下，使用什么方法。

国际数据管理协会(DAMA)将其定义为"对数据管理以及数据和数据相关来源的使用进行规划，监督和控制"。

02、数据治理与数据管理

尽管数据管理是一个重要的部分，但是它只是数据管理整体学科的一部分。数据治理的内容是和确保数据资产的责任和所有权的角色、责任和流程相关的，而DAMA将数据管理定义为一个总体术语，描述了用于规划、指定、启用、创建、获取、维护、使用、归档、检索、控制和清除数据的过程。

虽然数据管理已成为该学科的常用术语，但它有时还被称为数据资源管理或企业信息管理(EIM)。Gartner将EIM描述为一种以提高效率、提高透明度并实现业务洞察力为目的，跨组织和技术边界构建、描述和管理信息资产的综合性学科。

03、数据治理框架

数据治理多被看作支持组织总体数据管理策略的功能。这样的框架为组织提供了一种收集、管理、保护和存储数据的整体方法。为了帮助理解框架应该涵盖的内容，DAMA将数据管理设想为一个轮子，以数据治理为中心，从中辐射出以下10个数据管理知识领域：

·数据构架:作为企业架构的一个组成部分，也是数据和数据相关资源的整体结构

·数据建模和设计：分析、设计、构建、测试和维护

·数据存储和操作：结构化物理数据资产存储部署和管理

·数据安全：确保隐私、机密性和适当的访问

·数据集成和互操作性：采集、提取、转换、移动、交付、复制、联合、虚拟化和运营支持

·文档和内容：存储、保护、索引和启用对非结构化源中的数据的访问，并使这些数据可用于与结构化数据的集成和互操作性

·参考和主数据：管理共享数据以减少冗余，并通过标准化定义和使用数据值来确保更好的数据质量

·数据仓库和商业智能(BI)：管理分析数据的处理，并使人们能够获得决策支持数据，以便进行报告和分析

·元数据：收集、分类、维护、集成、控制、管理和交付元数据

·数据质量：定义、监控、维护数据完整性和提高数据质量

在制定战略时，应考虑数据收集、管理、存档和使用的上述每个方面。

商业应用研究中心(BARC)警告说，这不是一个"大爆炸计划"。作为一个高度复杂、持续的计划，数据治理存在参与者随着时间的推移失去信任和兴趣的风险。为了解决这个问题，BARC建议这个计划可以从可管理或特定于应用程序的原型项目开始，然后根据经验教训在整个公司范围内进行扩展。

BARC建议执行以下步骤：

·定义目标并了解收益

·分析当前状态和增量分析

·派生路线图

·说服利益相关者和预算项目

·制定和规划数据治理计划

·实施数据治理计划

·监视和控制

04、数据治理的目标

其目的是建立一种方法、一套责任和相对应流程，以规范、整合、保护和存储企业数据。根据BARC的说法，组织的主要目标应该是：

·将风险降至最低

·建立数据使用的内部规则

·实施合规性要求

·改善内部和外部沟通

·提高数据的价值

·便于上述内容的管理

·降低成本

·通过风险管理和优化帮助确保公司的继续存在

BARC指出，这些计划始终跨越企业的战略，战术和运营层面，并且必须将其视为持续的迭代过程。

05、数据治理的优势

大多数公司已经对单个应用程序、业务部门或职能部门进行了某种形式的治理，虽然这些流程和职责是非正式的。作为一种实践，它是关于对这些过程和责任建立系统的、正式的控制。这样做可以帮助公司保持响应能力，特别是当他们发展到一定规模，个人执行跨职能的任务不再有效时。

数据管理的几个整体好处只有在企业建立系统的数据治理后才能实现。其中一些好处包括：

·更好、更全面的决策支持，这些支持来自整个组织中一致、统一的数据

·为不断变化的流程和数据制定明确的规则，帮助业务和IT变得更加敏捷和可扩展

·通过提供中央控制机制，降低数据管理其他领域的成本

·通过重用流程和数据的能力提高效率

·提高对数据质量和数据流程文档的信心

·提高对数据法规的遵从性

06、数据治理原则

根据数据治理研究所的数据，所有成功的数据治理和管理计划的核心为以下八项原则：

·所有参与者在相互打交道时都必须保持诚信。在讨论数据相关决策的驱动因素、限制因素、选项和影响时，他们必须诚实和坦率。

·数据治理和管理流程需要透明度。所有参与者和审计员都必须清楚，如何以及何时将与数据相关的决策和控制引入流程。

·受数据治理约束的相关决策、流程和控制必须是可审计的。它们必须附有文档，以支持基于合规性和运营的审计要求。

·他们必须明确谁对跨职能数据相关的决策、流程和控制负责。

·它必须定义谁对管理活动负责，这些活动是个人贡献者和数据管理员组的责任。

·必须以一种在业务和技术团队之间，以及在创建/收集信息的人、管理信息的人、使用信息的人以及引入标准和合规性要求的人之间引入制衡的方式来定义问责制。

·该计划必须引入并支持企业数据的标准化。

·程序必须支持对参考数据值以及主数据和元数据的结构/使用进行主动和被动的变更管理活动。

07、数据治理角色

每个企业的数据治理方式不同，但存在一些共同点。

指导委员会

治理计划涵盖整个企业，通常从一个由高级管理层组成的指导委员会开始，通常是负责业务线的C级个人或副总裁。《Get Governance：Building World Class Data Governance Programs》一书的作者摩根·圣殿骑士(Morgan Templar)表示，指导委员会成员的责任包括制定具有特定成果的整体治理战略，支持数据管家的工作，以及让治理组织对时间表和成果负责。

数据所有者

Templar表示，数据所有者是负责确保特定数据域中的信息跨系统和业务线进行管理的个人。他们通常是指导委员会的成员，尽管可能不是有表决权的成员。数据所有者负责：

·批准数据词汇表和其他数据定义

·确保整个企业信息的准确性

·指导数据质量活动

·审查和批准主数据管理方法、结果和活动

·与其他数据所有者合作解决数据问题

·对数据管理员发现的问题进行二级审查

·向指导委员会提供有关其数据域的软件解决方案、策略或法规要求的意见

数据专员

数据管理员负责数据的日常管理。Templar说，他们是主题专家(SME)，他们理解并传达信息的含义和使用，他们与整个组织中的其他数据管理员合作，作为大多数数据决策的管理机构。数据管理员负责：

·成为其数据领域的中小企业