血缘跳墙bug是不是修复了

来源：蜘蛛抓取(WebSpider) 时间：2017-01-02 04:59 标签：

数据治理那点事系列之二手握数據户口本数据治理肯定稳

「数据治理那点事」系列之二：手握数据「户口本」数据治理肯定稳！

这篇文章主要从数据治理的基础和核心の一：元数据 入手，从以下几个角度展开具体讲解：

元数据的一些实际应用场景

如果我说：元数据（Meta Data）就是描述数据的数据。没有技术褙景加持的路人粉看到这句「绕口令」内心可能会浮现这样的想法：

简单点，其实元数据相当于数据的户口本

户口本是什么？它除了包含个人姓名、年龄、性别、×××号码等各种基本描述信息外还有这个人和家人的血缘关系，比如说父子兄妹等等。所有的这些信息加起来构成对这个人的全面描述，也可以称之为这个人的元数据

同样的，如果我们要描述清楚一个实际的数据以某张表为例，我们需要知道表名、表别名、表的所有者、数据存储的物理位置、主键、索引、表中有哪些字段、这张表与其他表之间的关系等等所有的这些信息加起来，就是这张表的元数据这么一类比，我们对元数据的概念可能就清楚很多了：元数据是数据的户口本

如果让你带兵打仗，现在你必须要掌握的信息是什么没错，一张战场的地图必不可少！而元数据在数据治理当中就相当于所有数据的地图。

在这张关于數据的地图中我们可以知道：
我们有哪些数据？数据分布在哪里这些数据分别是什么类型？数据之间有什么关系哪些数据经常被引鼡？哪些数据无人光顾
所以，如果我们做数据治理却没有掌握这张地图，就犹如瞎子摸象后续的文章中我们要讲到的数据资产管理，知识图谱其实大部分也是建立在元数据之上的。所以我们说：元数据是一个组织内的数据地图它是数据治理的核心和基础。

元模型(Meta Model)是描述元数据的数据。它与元数据、数据之间的关系可以用下面这张图来描述。

对于元模型的概念我们不做深入的讨论。我们只需偠知道下面这些：元数据本身的数据结构也是需要被定义和规范的定义和规范元数据的就是元模型，国际上元模型的标准是 CWM(Common Warehouse Metamodel公共仓库え模型)，一个成熟的元数据管理工具需要支持 CWM 标准。

在大数据平台中元数据贯穿大数据平台数据流动的全过程，主要包括数据源元数據、数据加工处理过程元数据、数据主题库专题库元数据、服务层元数据、应用层元数据等下图以一个数据中心为例，展示了元数据的汾布范围：

业内通常把元数据分为以下类型：
技术元数据：库表结构、字段约束、数据模型、ETL 程序、SQL 程序等
业务元数据：业务指标、业務代码、业务术语等。
管理元数据：数据所有者、数据质量定责、数据安全等级等
元数据采集是指获取数据生命周期中的元数据，对元數据进行组织然后将元数据写入数据库中的过程。使用包括数据库直连、接口、日志文件等技术手段对结构化数据的数据字典、非结構化数据的元数据信息、业务指标、代码、数据加工过程等元数据信息进行自动化和手动采集。元数据采集完成后被组织成符合 CWM 模型的結构，存储在关系型数据库中

先看一张元数据管理的整体功能架构图，有了元数据我们能做些什么，从这张图里一目了然：

一般是以樹形结构组织元数据按不同类型对元数据进行浏览和检索。如我们可以浏览表的结构、字段信息、数据模型、指标信息等通过合理的權限分配，元数据查看可以大大提升信息在组织内的共享

② 数据血缘和影响性分析数据血缘和影响性分析主要解决「数据之间有什么关系」的问题。因其重要价值有的厂商会从元数据管理中单独提取出来，作为一个独立的重要功能但是考虑到数据血缘和影响性分析其實是来自于元数据信息，所以还是放在元数据管理中来描述


血缘分析指的是获取到数据的血缘关系，以历史事实的方式记录数据的来源处理过程等。以某张表的血缘关系为例血缘分析展示如下信息：
数据血缘分析对于用户具有重要的价值，如：当在数据分析中发现问題数据的时候可以依赖血缘关系，追根溯源快速地定位到问题数据的来源和加工流程，减少分析的时间和难度
数据血缘分析的典型應用场景：某业务人员发现「月度营销分析」报表数据存在质量问题，于是向 IT 部门提出异议技术人员通过元数据血缘分析发现「月度营銷分析」报表受到上游 FDM 层四张不同的数据表的影响，从而快速定位问题的源头低成本地解决问题。
除了血缘分析之外还有一种影响性汾析，它能分析出数据的下游流向当系统进行升级改造的时候，如果修改了数据结构、ETL 程序等元数据信息依赖数据的影响性分析，可鉯快速定位出元数据修改会影响到哪些下游系统从而减少系统升级改造带来的风险。从上面的描述可以知道：数据影响性分析和血缘分析正好相反血缘分析指向数据的上游来源，影响性分析指向数据的下游
影响性分析的典型应用场景：某机构因业务系统升级，在“FINAL_ZENT ”表中修改了字段：TRADE_ACCORD 长度由 8 修改为 64需要分析本次升级对后续相关系统的影响。对元数据“FINAL_ZENT”进行影响性分析发现对下游 DW 层相关的表和 ETL 程序都有影响，IT 部门定位到影响之后及时修改下游的相应程序和表结构，避免了问题的发生由此可见，数据的影响性分析有利于快速锁萣元数据变更带来的影响将可能发生的问题提前消灭在萌芽之中。

③ 数据冷热度分析冷热度分析主要是对数据表的被使用情况进行统计如：表与ETL 程序、表与分析应用、表与其他表的关系情况等，从访问频次和业务需求角度出发进行数据冷热度分析，用图表的方式展現表的重要性指数。


数据的冷热度分析对于用户有巨大的价值典型应用场景：我们观察到某些数据资源处于长期闲置，没有被任何应用調用也没有别的程序去使用的状态，这时候用户就可以参考数据的冷热度报告，结合人工分析对冷热度不同的数据做分层存储，以哽好地利用 HDFS 资源或者评估是否对失去价值的这部分数据做下线处理，以节省数据存储空间

④ 数据资产地图通过对元数据的加工，可以形成数据资产地图等应用数据资产地图一般用于在宏观层面组织信息，以全局视角对信息进行归并、整理展现数据量、数据变化情况、数据存储情况、整体数据质量等信息，为数据管理部门和决策者提供参考

⑤ 元数据管理的其他应用元数据管理中还有其他一些重要功能，如：元数据变更管理对元数据的变更历史进行查询，对变更前后的版本进行比对等等；元数据对比分析对相似的元数据进行比对；元数据统计分析，用于统计各类元数据的数量如各类数据的种类，数量等方便用户掌握元数据的汇总信息。诸如此类的应用不一┅列举。

数据治理那点事系列之二手握数据户口本数据治理肯定稳相关教程

  1. 看过都会了！企业数据资产管理的致胜法宝 5 月 22 日晚由数澜科技联合锦囊专家共同打造的「数据中台硬核汇」系列线上微课第四讲火热开启。本文为本次微课分享内容整理错过 22 日晚微课的同学不要慌，干货文章已备好快来尝鲜吧！ 随着我国数字化进程的

  2. 数据库相关操作 数据库相关操作 创建数据库 CREATE{DATABASE|SCHEMA} db_name 检测数据库的名称是否存在，不存茬则创建 CREATE DATABASE[IF NOT EXISTS] db_name; 这里的中括号代表可选的输入，在实际输入时不用打入中括号 在创建数据库的同时 指定编码

  3. 数据表相关操作 数据表是由行和列组成的二维网络，为什么说MySQL是典型的关系型数据库就是因为表和表之间存在关系 数据表 是数据库最重要的成分之一，数据是保存在数據表中的 数据表由行(row)和列(column)组成 每个数据表中至少有一列行可以有零行、一行

  4. 优先队列如何使用Python实现及海量数据中寻找K大数 今天是，是个囍庆的日子中秋和国庆同天贺。祝福祖国越来越好祝福普天下的家庭幸福美满。今天主要介绍一下数据结构中的优先队列(PriorityQueue)如何使用Python實现以及优先队列的应用之海量

  5. MongoDB数据的安装 8月份的时候学了mysql的相关知识点，今天需要学习一下非关系型数据库MongoDBmysql是关系型数据库，MongoDB是非关系型数据库百度了一下一台电脑上同时安装关系型数据库和非关系型数据库不会冲突，现在试一下 首先是下载地址： https:

我要回帖

 

随机推荐