HBase过滤器介绍

[TOC]前言本次使用的是 HBase 2.5.5 版本,同时本篇是基于上一篇: Hbase之JavaAPI详细介绍的基础上整理的,如果需要运行演示,请先阅读上一篇内容。一、HBase过滤器简介HBase 提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down...

大数据 2023-09-13 PM 120次 0条

Hbase之JavaAPI详细介绍

[TOC]前言HBase本身是基于Java开发的,因此,也提供了一整套的Java API开发接口,整个接口方法非常完善,包括命名空间管理、表级管理、列族级管理、数据(增删改查、导入、导出)、集群调度、状态监测、集群优化等。一、常用java API介绍主要的Hbase API类和数据模型之间的的对应的关系1.1 Adminorg.apache.hadoop.hbase.client.Admin...

大数据 2023-09-06 PM 148次 0条

Spark读写HBase实践

Spark读写HBase实践前言Spark经常会读写一些外部数据源,常见的有HDFS、HBase、JDBC、Redis、Kafka等。一、maven依赖需要引入Hadoop和HBase的相关依赖,版本信息根据实际情况确定。<properties> <spark.version>2.4.4</spark.version> &l...

大数据 2021-04-12 AM 1544次 0条

Hbase原理

08.Hbase原理一、Hbase读流程步骤说明:1.Client先访问Zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;2.根据namespace、表名和rowkey在meta表中找到对应的region信息;3.找到这个region对应的regionserver;4.查找对应的region;5.先从MemStor...

大数据 2021-02-12 PM 1027次 0条

Hbase shell操作

07.Hbase shell操作一、基本操作1. 进入HBase客户端命令行[hadoop@localhost hbase-2.1.3]$ bin/hbase shell2. 查看所有表hbase(main):001:0> list3. 其他#查询Hbase版本 hbase(main):002:0> version ...

大数据 2021-02-12 PM 1072次 0条

CentOS7 Hbase安装

06.CentOS7 Hbase安装前言在CentOS7.X下安装Hbase,需要对如下软件进行安装:1.安装JDK1.82.安装Hadoop3.安装Zookeeper一、下载地址http://archive.apache.org/dist/hbase/2.1.3/hbase-2.1.3-bin.tar.gz二、安装步骤1. 解压Hbase[hadoop@localhost sources]...

大数据 2021-02-12 PM 893次 0条

CentOS7 Zookeeper安装教程

05.CentOS7 Zookeeper安装教程一、下载地址http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz二、安装1. 解压[hadoop@localhost sources]$ sudo tar -zxf apache-zookeeper-3.5.8-bi...

大数据 2021-02-12 PM 1032次 0条

CentOS7 Hadoop安装教程

04.CentOS7 Hadoop安装教程前言本次安装系统环境CentOS7.X,Hadoop版本2.5.8。同时,环境中需要安装JDK1.8作为Hadoop的运行环境安装步骤一、Hadoop下载地址https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz二、创建一个新用户(1)添加用户[roo...

大数据 2021-02-12 PM 1922次 0条

Hbase存储结构

03.Hbase存储结构一、HBase逻辑结构先从一个逻辑结构模型图开始看起:Table(表):一个表由一个或者多个列族构成。。数据的属性。比如:name、age、TTL(超时时间)等等都在列族里边定义。定义完列族的表是个空表,只有添加了数据行以后,表才有数据。Column Family(列族):在HBase里,可以将多个列组合成一个列族。建表的时候不用创建列,因为列是可增减变化的,非常灵活...

大数据 2021-02-12 PM 2017次 0条

Hbase架构

02.Hbase架构一、系统架构HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由以下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:注意:应该是每一个 RegionServer 就只有一个 HLog,而不是一...

大数据 2021-02-12 PM 1527次 1条