作者：Lansonli
一、离线数据仓库的架构
1、数据仓库一般架构
分析型系统进行联机数据分析，一般的数据来源是数据仓库，而数据仓库的数据来源为可操作型系统，可操作型 系统的数据来源于业务数据库中，那么我们常用的数据仓库的组成和架构一般如下图所示：
上图将数据分为业务源头系统和数据仓库系统：
其中数据仓库系统又包括操作型（ODS）系统和数据仓库系统两部分。
操作型（ODS）系统的数据主要来自于各业务数据系统中，这其中包括：
- 关系型数据库
- 平面文件（文本文件，CSV文件，XML文件）等
- 还有网络爬虫抓取的开放的数据等。
数据的种类也丰富多元：有结构化数据、半结构化数据、非结构化数据等，这些数据会通过抽取、转换和装载从 ODS进入到数据仓库系统中。
2、数据仓库常用架构
在数据仓库技术演进过程中，产生了几种主要的架构方法，包括 Inmon 企业信息工厂架构、 Kimba数据仓库架 构。
Inmon 企业信息工厂架构
企业数据仓库是企业信息化工厂的枢纽，是原子数据的集成仓库，但是由于企业数据仓库不是多维格式，因此不适合分析型应用程序，BI工具直接查询。他的目的是将附加的数据存储用于各种分析型系统。
数据集市，是针对不同的主题区域，从企业数据仓库中获取的信息，转换成多维格式，然后通过不同手段的 聚集、计算，最后提供最终用户分析使用，因此Inmon把信息从企业数据仓库移动到数据集市的过程描述为“数据 交付”。
Kimball 的维度数据仓库
Kimball 的维度数据仓库是基于维度模型建立的企业级数据仓库，它的架构有的时候可以称之为“总线体系结 构”，和 inmon 提出的企业信息化工厂有很多相似之处，都是考虑原子数据的集成仓库。
这两种结构的相似之处：
- 都是假设操作型系统和分析型系统是分离的；
- 数据源（操作型系统）都是众多；
- ETL整合了多种操作型系统的信息，集中到一个企业数据仓库。
最大的不同就是企业数据仓库的模式不同：inmon是采用第三范式的格式，kimball采用了多维模型–星型模型， 并且还是最低粒度的数据存储。
其次，维度数据仓库可以被分析系统直接访问（这种访问方式毕竟在分析过程中很少使 用）。
最后就是数据集市的概念有逻辑上的区别，在kimball的架构中，数据集市用维度数据仓库的高亮显示的表的子 集来表示。
二、维度数据建模
维度数据建模主要应用于数据仓库的设计，维度模型是一种进行查询的设计技术。
维度建模中两个核心概念是事实表和维度表。
- 事实表主要是围绕观察数据的角度，事实表通常是对具体的度量，可以对其进行聚合、累加、计算；
- 维度表是站在什么角度去看待问题，一组层次关系比如时间、组织、部门、地域等维度表。
维度数据建模的流程
维度数据建模的方式一般有星型模型和雪花模型、星座模型，较为常用的是星型模型。所谓星型模型就是将事实表 作为数据分析的中心，将维度表环绕着事实表。一般使用以下过程构建维度模型分为如下四个步骤：
1. 待分析的业务流程
建模的第一个步骤就是描述需要建模的业务流程，简单来说就是要分析某个业务先将此业务需求的相关业务流程梳理清楚，比如说分析订单销售情况，就要将订单表和订单详情相关的业务通过统一建模语言UML等进行梳理；
2. 确定分析的粒度
确定了分析的业务流程之后，确定事实表中要分析的业务数据的粒度，比如说订单表中的订单是秒级数据，一般从 业务流程中获取的数据都是最细（最低）粒度的数据，同一个业务分析中不要使用多种粒度，一般情况下只是用一种粒 度，比如说统计某一天（或某一个小时的）的订单总金额和订单总笔数。
3.确定分析的角度也就是维度
确定分析的纬度主要取决于分析的粒度，比如说要分析某小时或者某一天的数据，就需要时间维度进行分析，就需 要维度表——时间表。如果需要进行小区、大区、全国进行数据分析就需要使用组织维度进行分析。
4.确认使用到的事实表
待分析的业务确定下来之后，就需要获取分析的事实表（可度量）的数据表。事实表的数据都是可度量的，能够进行累加，统计的数字型数据。
三、数据集市
数据集市相比较于数据仓库最大的区别是，数据仓库数据来源于外部业务系统，外部系统数据等，而数据集市来源于数据仓库的数据；
两者的粒度是不同的，数据仓库的数据是最细粒度的数据，而数据集市是较粗粒度的数据； 数据仓库是面向企业主题的，数据集市是面向部门或者工作组的；
数据仓库是从业务库来的规范化结构数据，而数据集市是满足星型模型、雪花模型或者星座模型或者星型和雪花型模型的混合型维度模型等。
四、联机分析处理
联机分析处理又被称为 OLAP ，其允许使用多维数据集的结构，访问业务数据源进行清洗、转换、加载经过聚合后得到的聚合数据。
OLAP 是一种快速的多维分析查询的方法，DM 数据挖掘是一种发现数据内部规律的知识发现的技术，BI 商务智能侧重于将数据报表可视化。
通过使用OLAP工具，用户可以从多个视角交互式地查询多维数据 OLAP 由三个基本的分析操作构成：合并（上 卷）、下钻和切片。
合并是指数据的聚合，即数据可以在一个或多个维度上进行累积和计算。例如，所有的营业部数据被上卷到销售部门以分析销售趋势。
下钻是一种由汇总数据向下测览细节数据的技术。比如用户可以从产品分类的销售数据下钻查看单个产品的销 售情况。
切片则是这样种特性，通过它用户可以获取OLAP立方体中的特定数据集合，并从不同的视角观察这些数据。这 所观察数据的视角就是我们所说的维度。例如通过经销商、日期、客产品或区域等，查看同一销售事实。
OLAP系统的核心是OLAP立方体，或称为多维立方体或超立方体。它由被称为度量的数值事实组成，这些度量被维度划分归类。
五、分类
通常将联机分析处理系统分为 ROLAP、 MOLAP 、HOLAP三种类型，其中MOLAP是一种典型的OLAP形式，默认的 OLAP 就是 MOLAP这种类型，其将数据存储在一个经过优化的多维数组中，而不是存储在关系数据库中。
比如说预先计算并存初计算后的数据这种操作叫做数据的预处理，将预计算后的数据集合作为一个数据立方体 CUBE 使用。对于给定范围的 数据都会计算出来，这样在进行查询的时候就能够快速响应。
ROLAP 直接使用关系数据库存储数据，区别于 MOLAP不需要执行预计算，查询标准的关系数据库表根据过滤条件进行数据的查询聚合操作。基础的事实数据及其维度表作为关系表被存储，而聚合信息存储在新创建的附加表中，能够下钻到更为细节的明细数据。
ROLAP 以数据库模式设计为基础，操作存储在关系数据库中的数据，实现传统的OLAP数据切片和分块功能。本质上 讲，每种数据切片或分块行为都等同于在SQL语句中增加个 WHERE 子句的过滤条件。 ROLAP不使用预计算的数据立方体 ，取而代之的是查询标准的关系数据库表，返回回答问题所需的数据。
HOLAP 结合 MOLAP 和 ROLAP 两种联机分析处理方式，吸取了两种模式的优点，既可以用于细粒度的分析，也可以进行较粗粒度的数据分析处理，也支持多维立方体（ CUBE ）的分析。
六、实时数据仓库
离线传统企业数据仓库都是 T+1 的数据。
随着企业业务数据的快速产生以及数据时效性在企业运营中的重要性日益显现，例如一些实时大屏展示，实时报表 ，实时推荐系统，实时物流信息，实时广告推荐效果等。数据的实时获取、实时处理、实时计算和实时展现的能力成为 企业竞争力的重要体现。
七、实时数仓与离线数仓的对比
从架构上来说，离线数据仓库与实时数据仓库有着较为明显的差别，离线数据仓库主要以传统大数据架构体系进行设计为主，而实时数据仓库主要以 Kappa 架构设计思想为主，介于这两种架构之间有一种中间态就是 Lambda 架构。
从建设方法角度来说，离线数据仓库和实时数据仓库两者都沿用传统的数据仓库主题建模的理论，将明细数据生成 事实宽表，需要注意维度表也要存放于高速存储或读取的数据库中，比如redis等内存数据库。
从数据保障看，实时数仓要保证实时性，所以对数据量的变化较为敏感，在上线迎接大数据量流入时，要提前做好 压测和主备保障工作，这是与离线数据的一个较为明显的区别。
