解锁数据潜能！元数据中心的构建与实践指南

创作时间:

作者:

@小白创作中心

解锁数据潜能！元数据中心的构建与实践指南

引用

来源

https://m.xianjichina.com/special/detail_559532.html

在数字化时代，数据已成为企业的重要资产，而有效的数据管理是释放数据价值的关键。元数据管理作为数据管理的核心环节，对于提升数据的理解、利用和管理效率具有至关重要的作用。搭建元数据管理中心能够帮助企业更好地组织、管理和利用数据，实现数据的标准化、规范化，促进数据共享与协作，为企业的决策分析和业务发展提供有力支持。本文深入探讨搭建元数据管理中心的相关内容。

元数据的概念与分类

元数据是描述数据的数据，主要描述数据的属性信息，其作用是支持如指示存储位置、历史数据、资源查找、文件记录等功能。例如，在药品研制、生产、经营、使用活动中产生的反映活动执行情况的信息，包括文字、数值、符号、影像、音频、图片、图谱、条码等是数据，而用来定义和描述这些数据的数据就是元数据。它就像是数据的 “身份证”，提供关于数据的信息，帮助我们了解数据是什么、从哪里来、有什么用。

数据字典：描述数据的结构信息，如表结构信息，包括表名、字段名、类型和注释，表的数据产出任务，表和字段的权限等。它是对数据结构的详细描述，有助于理解数据的组织方式和存储结构。
数据血缘：指一个表是通过哪些表的加工而来，能够进行影响分析和故障溯源。了解数据的血缘关系对于追踪数据的来源和变化过程非常重要，在数据出现问题时可以快速定位问题源头。
数据特征：主要指数据的属性信息，如存储空间大小、数仓分层、访问热度、主题分类、关联指导等。这些属性信息有助于对数据进行分类管理和优化利用。

构建元数据中心的关键目标

元数据中心需要具备高度的灵活性，以满足不同业务线（如电商、金融、物流等）的独特数据需求。同时，应提供多租户架构，确保不同部门或团队（如算法、数仓、风控）在共享元数据资源时，能够保持数据的安全隔离和访问控制。这样可以实现企业内各业务部门和团队之间的数据协同，提高数据的利用效率，同时保障数据的安全性。

实现企业数据资产的全面可视化，包括数据源、数据流、数据质量、数据血缘等。通过对数据资产的全面可视化管理，可以方便地跟踪数据的生命周期，提升数据的可发现性和可追溯性。例如，清楚地了解数据从产生到存储、加工、使用的整个过程，以及数据在各个环节的质量状况，有助于更好地管理和利用数据资产。

建立统一的数据标准和规范，包括数据定义、命名规则、编码体系等。这可以减少数据冗余，提高数据一致性，为数据分析和业务决策提供准确的基础。例如，在企业内部统一数据的命名方式和定义，避免因不同部门或系统对数据的理解和定义不同而导致的数据不一致问题，从而提高数据的可靠性和可用性。

强化数据治理能力，包括数据质量监控、数据安全管控、合规性检查等。确保数据处理活动符合内外部的法规要求（如 GDPR、HIPAA 等），降低合规风险。在数据管理过程中，保障数据的质量和安全性是至关重要的，同时要符合相关法规要求，避免因数据问题导致的法律风险和业务风险。

通过提供数据目录、API 服务、数据字典等功能，促进跨部门、跨系统的数据共享和协同工作，加速数据驱动的业务创新和决策过程。数据共享可以打破部门之间的数据壁垒，实现数据的流通和复用，提高企业的整体运营效率。例如，通过 API 服务，不同系统可以方便地获取和使用元数据，实现数据的集成和共享。

元数据技术

开源产品

Netflix 的 Metacat
特点：设计极简，不会重复保存元数据，而是采取直连数据源的方式，避免了存储重复元数据导致的数据一致性问题，同时架构能做到极致的轻量化。每个数据源只要实现一个链接类即可，擅长数据字典管理。
Apache 的 Atlas
数据采集方式：通过抓取正在执行的 SQL、解析执行计划，获得输入表和输出表。这种方式最为理想，能够保证数据血缘分析的准确性和时效性。
核心层：包括 Ingest / Export（负责元数据的添加和公开更改事件）、Type System（允许用户定义和管理元数据对象模型）、Graph Engine（使用图模型持久化管理元数据对象，并进行类型和实体转换及索引创建）。
消息传递层：用户可以通过基于 Kafka 的消息传递接口或 API 与 Atlas 集成。Kafka 作为通知服务器，用于通信和事件传递。
元数据源层：支持与 HBase、Hive、Sqoop、Storm、Kafka 等许多元数据源集成。
应用层：Atlas 管理的元数据被各种应用程序使用，如 Atlas Admin UI 用于数据管理员和科学家发现和注释元数据，基于标签的策略与 Apache Ranger 集成实现安全管理。

商业化产品

Cloudera Navigator
Cloudera Navigator 是 Cloudera 企业数据平台中的重要组件，定位为数据管理工具，专注于数据管理和治理。
核心功能：
数据审计：通过 Navigator Audit Server 记录所有数据相关活动，为数据安全、合规审计和故障排查提供详细记录。
元数据管理：Navigator Metadata Server 收集和管理 Hadoop 集群中的元数据，提供数据查询、标签、血缘分析等功能，帮助理解数据来源和流向。
数据治理：支持数据分类和政策管理，设置访问控制和保留策略，通过数据标签对数据进行分类和保护。
数据血缘与影响分析：提供可视化的数据血缘图谱，便于理解数据依赖关系和定位问题根源。
搜索与发现：内置搜索引擎可快速查找数据资产。
集成与自动化：设计有 API 接口，支持与其他企业系统集成，实现数据管理任务的自动化。

元数据中心架构设计

核心部分
数据字典：主要采用 Metacat 从各种数据源中进行数据抓取。
数据血缘：从 hive、spark 等大数据组件中获取数据，通过在平台中嵌入钩子（HOOK）的形式，实时获取 HIVE 等实时执行的 SQL，进行数据血缘分析后将结果存储在图数据库中。
数据特征：等价于用户行为分析系统，需针对客户业务行为展开，没有特定的技术体系。
对外接口
元数据中心统一对外提供 API 访问接口，数据传输、数据地图、数据服务等其他子系统都可以通过 API 接口获取元数据。Ranger 可以基于元数据中心提供的 API 接口，获取标签对应的表，然后根据标签更新表对应的权限，实现基于标签的权限控制。