HBase过滤器介绍
[TOC]前言本次使用的是 HBase 2.5.5 版本，同时本篇是基于上一篇: Hbase之JavaAPI详细介绍的基础上整理的，如果需要运行演示，请先阅读上一篇内容。一、HBase过滤器简介HBase 提供了种类丰富的过滤器（filter）来提高数据处理的效率，用户可以通过内置或自定义的过滤器来对数据进行过滤，所有的过滤器都在服务端生效，即谓词下推（predicate push down...
Hbase之JavaAPI详细介绍
[TOC]前言HBase本身是基于Java开发的，因此，也提供了一整套的Java API开发接口，整个接口方法非常完善，包括命名空间管理、表级管理、列族级管理、数据（增删改查、导入、导出）、集群调度、状态监测、集群优化等。一、常用java API介绍主要的Hbase API类和数据模型之间的的对应的关系1.1 Adminorg.apache.hadoop.hbase.client.Admin...
IDEA编译运行Spark源码
前言环境准备IDEA 2022.3Scala 2.12.15maven 3.6.3JDK 1.8一、下载Spark源码1.1 官网地址Spark官网地址：https://spark.apache.org/downloads.html本次下载的源码版本为：Spark 3.2.31.2 下载之前版本Spark1.3 选择Spark 3.2.3版本下载地址：https://archive.apac...
09.数仓建设之数仓规范建设指南
[TOC]一、数仓公共开发规范1）层次调用规范稳定业务按照标准的数据流向进行开发，即 ODS –> DWD –> DWS –> APP。非稳定业务或探索性需求，可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD -> DWM ->APP 两个模型数据流。在保障了数据链路的合理性之后，也必须保证模型分层引用原则：正常流向：O...
08.数仓建设之数据质量建设
[TOC]前言数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当然是数据质量治理，因为数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。数据质量涉及的范围也很广，贯穿数仓的整个生命周期，从数据产生->数据接入->数据存储->...
07.数仓建设之数据治理
[TOC]前言数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，包括资产治理、数据质量监控、数据指标体系的建设等。其实数据治理的范围很⼴，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在DAMA 数据管理知识体系指南中，数据治理位于数据管理“车轮图”的正中央，是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等10大数据管理...
06.数仓建设之基于Flink SQL从0到1构建一个实时数仓
[TOC]前言本小节内容来自大数据技术与数仓实时数仓主要解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析，实时大屏展示，实时监控报警各个场景。虽然关于实时数仓架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。接下来主要介绍Flink SQL从0到1搭建一个实时数仓的demo，涉及到数据采集、存储、计算、可视化整个流程。一、案例简介本文以电商业...
05.数仓建设之实时数仓建设核心
[TOC]一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据...
04.数仓建设之实时计算
[TOC]前言实时计算一般都是针对海量数据进行的，并且要求为秒级。由于大数据兴起之初，Hadoop并没有给出实时计算解决方案，随后Storm，SparkStreaming，Flink等实时计算框架应运而生，而Kafka，ES的兴起使得实时计算领域的技术越来越完善，而随着物联网，机器学习等技术的推广，实时流式计算将在这些领域得到充分的应用。实时计算的三个特征：无限数据：无限数据指的是一种不断增...
