数据仓库以及OLTP和OLAP

1.什么是数据仓库?
数据仓库是决策支持系统(DSS)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。
数据仓库的特征是面向主题,集成性,稳定性和时变性。用于支持管理决策。
数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供统一的,规范的数据出口。
面向主题:数据仓库中的数据按照一定的主题进行组织,每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据,提供特定主题的简明视图。
集成的:企业内不同业务部门数据的完整集成。
对于企业内所有数据的集成要注意一致性
稳定的:数仓里不存在数据的更新和删除操作
变化的:数仓里会完整的记录某个对象在一段时期内的变化情况。
数据仓库的目标是实现集成、稳定、反映历史变化有组织有结构的存储数据的集合。
在这里插入图片描述
ODS-脱敏/清洗-DWD-汇总-DWS-汇总/宽表-DM
三范式(关系型数据库)–目的:让字段拆分开,尽可能实现数据库没有冗余,而数仓会利用冗余换区查询的便利(宽表)
2.OLTP与OLAP
(1).操作型处理,叫做联机事务处理OLTP(online transaction processing).也可以称面向交易的处理系统,他是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询,修改,用户较为关心操作的响应时间,数据的安全性,完整性和并发支持的用户数等问题,传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。
(2).分析型处理,叫做联机分析处理OLAP(online analytical processing)一般针对某些主题的历史数据进行分析,支持管理决策。
数据仓库对一个企业的所有数据进行整合,为不同业务部门提供统一的数据出口。一个完善合理的数据仓库对于企业整体的数据管理是意义重大的,而数据仓库也是整个大数据系统中的重要一环,更高层次的数据分析,数据挖掘等工作都会基于数据仓库进行。
OLAP和OLTP的异同

操作型处理OLTP 分析型处理OLAP
细节的 综合的或提炼的
实体-关系(ER)模型 星型或雪花模型
存取瞬间数据 存储历史数据,不包含最近的数据
可更新的 只读,只追加
一次操作一个单元 一次操作一个集合
性能要求高,响应时间短 性能要求宽松
面向事务 面向分析
一次操作数据量小 一次操作数据量大
支持日常操作 支持决策需求
数据量小 数据量大
客户订单、库存水平和银行账户等 客户收益分析、市场细分等