Spark入门介绍

01.Spark入门介绍一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。同Hadoop的MapReduce计算框架类似,但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,进行批处理时更加高效,并有更低的延迟。二、历史2009 年,Spark 诞生于伯克利大学的 AMPLab 实验室2010 年...

大数据 2021-02-15 AM 1583次 0条

Hbase原理

08.Hbase原理一、Hbase读流程步骤说明:1.Client先访问Zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;2.根据namespace、表名和rowkey在meta表中找到对应的region信息;3.找到这个region对应的regionserver;4.查找对应的region;5.先从MemStor...

大数据 2021-02-12 PM 1201次 0条

Hbase shell操作

07.Hbase shell操作一、基本操作1. 进入HBase客户端命令行[hadoop@localhost hbase-2.1.3]$ bin/hbase shell2. 查看所有表hbase(main):001:0> list3. 其他#查询Hbase版本 hbase(main):002:0> version ...

大数据 2021-02-12 PM 1241次 0条

CentOS7 Hbase安装

06.CentOS7 Hbase安装前言在CentOS7.X下安装Hbase,需要对如下软件进行安装:1.安装JDK1.82.安装Hadoop3.安装Zookeeper一、下载地址http://archive.apache.org/dist/hbase/2.1.3/hbase-2.1.3-bin.tar.gz二、安装步骤1. 解压Hbase[hadoop@localhost sources]...

大数据 2021-02-12 PM 1073次 0条

CentOS7 Zookeeper安装教程

05.CentOS7 Zookeeper安装教程一、下载地址http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz二、安装1. 解压[hadoop@localhost sources]$ sudo tar -zxf apache-zookeeper-3.5.8-bi...

大数据 2021-02-12 PM 1215次 0条

CentOS7 Hadoop安装教程

04.CentOS7 Hadoop安装教程前言本次安装系统环境CentOS7.X,Hadoop版本2.5.8。同时,环境中需要安装JDK1.8作为Hadoop的运行环境安装步骤一、Hadoop下载地址https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz二、创建一个新用户(1)添加用户[roo...

大数据 2021-02-12 PM 2209次 0条

Hbase存储结构

03.Hbase存储结构一、HBase逻辑结构先从一个逻辑结构模型图开始看起:Table(表):一个表由一个或者多个列族构成。。数据的属性。比如:name、age、TTL(超时时间)等等都在列族里边定义。定义完列族的表是个空表,只有添加了数据行以后,表才有数据。Column Family(列族):在HBase里,可以将多个列组合成一个列族。建表的时候不用创建列,因为列是可增减变化的,非常灵活...

大数据 2021-02-12 PM 2327次 0条

Hbase架构

02.Hbase架构一、系统架构HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由以下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:注意:应该是每一个 RegionServer 就只有一个 HLog,而不是一...

大数据 2021-02-12 PM 1870次 1条

Hbase基础入门

01.Hbase基础入门一、简史HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。官方网站:http://hbase.apache.org2006年Google发表BigTable白皮书2006年开始开发HBase2008年将HBase弄成了Hadoop的子项目2010年HBase成为Apache顶...

大数据 2021-02-12 PM 1365次 0条