Spark入门介绍
01.Spark入门介绍一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。同Hadoop的MapReduce计算框架类似，但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，进行批处理时更加高效，并有更低的延迟。二、历史2009 年，Spark 诞生于伯克利大学的 AMPLab 实验室2010 年...
Hbase原理
08.Hbase原理一、Hbase读流程步骤说明：1.Client先访问Zookeeper,从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息;2.根据namespace、表名和rowkey在meta表中找到对应的region信息;3.找到这个region对应的regionserver；4.查找对应的region；5.先从MemStor...
Hbase shell操作
07.Hbase shell操作一、基本操作1. 进入HBase客户端命令行[hadoop@localhost hbase-2.1.3]$ bin/hbase shell2. 查看所有表hbase(main):001:0> list3. 其他#查询Hbase版本 hbase(main):002:0> version ...
CentOS7 Hbase安装
06.CentOS7 Hbase安装前言在CentOS7.X下安装Hbase,需要对如下软件进行安装：1.安装JDK1.82.安装Hadoop3.安装Zookeeper一、下载地址http://archive.apache.org/dist/hbase/2.1.3/hbase-2.1.3-bin.tar.gz二、安装步骤1. 解压Hbase[hadoop@localhost sources]...
CentOS7 Zookeeper安装教程
05.CentOS7 Zookeeper安装教程一、下载地址http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz二、安装1. 解压[hadoop@localhost sources]$ sudo tar -zxf apache-zookeeper-3.5.8-bi...
CentOS7 Hadoop安装教程
04.CentOS7 Hadoop安装教程前言本次安装系统环境CentOS7.X，Hadoop版本2.5.8。同时，环境中需要安装JDK1.8作为Hadoop的运行环境安装步骤一、Hadoop下载地址https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz二、创建一个新用户（1)添加用户[roo...
Hbase存储结构
03.Hbase存储结构一、HBase逻辑结构先从一个逻辑结构模型图开始看起：Table(表)：一个表由一个或者多个列族构成。。数据的属性。比如：name、age、TTL(超时时间)等等都在列族里边定义。定义完列族的表是个空表，只有添加了数据行以后，表才有数据。Column Family（列族）：在HBase里，可以将多个列组合成一个列族。建表的时候不用创建列，因为列是可增减变化的，非常灵活...
Hbase架构
02.Hbase架构一、系统架构HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：注意：应该是每一个 RegionServer 就只有一个 HLog，而不是一...
