数仓-拉链表

本文主要是介绍数仓-拉链表，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一，什么是拉链表
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

二，用在什么地方
在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

数据量比较大;
表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;
需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，
比如，查看某一个用户在过去某一段时间内，更新过几次等等;
变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;
如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;
拉链历史表，既能满足反应数据的历史状态，又可以最大程度的节省存储;

三，举例
举个简单例子，比如有一张订单表,
6月20号有3条记录，

到6月21日，表中有5条记录，

到6月22日，表中有6条记录：

数据仓库中对该表的保留方法，

只保留一份全量，则数据和6月22日的记录一样，如果需要查看6月21日订单001的状态，则无法满足；

每天都保留一份全量，则数据仓库中的该表共有14条记录，但好多记录都是重复保存，没有任务变化，如订单002,004，数据量大了，会造成很大的存储浪费；

如果在数据仓库中设计成历史拉链表保存该表，则会有下面这样一张表：

说明：

dw_begin_date表示该条记录的生命周期开始时间，dw_end_date表示该条记录的生命周期结束时间；
dw_end_date = '9999-12-31’表示该条记录目前处于有效状态；
如果查询当前所有有效的记录，则select * from order_his where dw_end_date = ‘9999-12-31’
如果查询2012-06-21的历史快照，则select * from order_his where dw_begin_date <= ‘2012-06-21’ and end_date >= ‘2012-06-21’，这条语句会查询到以下记录：
和源表在6月21日的记录完全一致。

可以看出，这样的历史拉链表，既能满足对历史数据的需求，又能很大程度的节省存储资源；

补充
补充一下每日的用户更新表该怎么获取，据笔者的经验，有以下方式拿到或者间接拿到每日的用户增量，因为它比较重要，所以详细说明：

我们可以监听Mysql数据的变化，比如说用Canal，最后合并每日的变化，获取到最后的一个状态。
假设我们每天都会获得一份切片数据，我们可以通过取两天切片数据的不同来作为每日更新表。
每日的变更流水表。
通过etl工具对操作型数据库按照时间字段增量抽取到ods或者数据仓库(每天抽取前一天的数据)，形成每天的增量数据(实际中使用最多的情形)。

这篇关于数仓-拉链表的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！