Hbase存储结构
03.Hbase存储结构一、HBase逻辑结构先从一个逻辑结构模型图开始看起：Table(表)：一个表由一个或者多个列族构成。。数据的属性。比如：name、age、TTL(超时时间)等等都在列族里边定义。定义完列族的表是个空表，只有添加了数据行以后，表才有数据。Column Family（列族）：在HBase里，可以将多个列组合成一个列族。建表的时候不用创建列，因为列是可增减变化的，非常灵活。唯一需要确定的就是列族，也就是说一个表有几个列族是一开始就定好的。此外表的很多属性，比如数据过期时间、数据块缓存以及是否使用压缩等都是定义在列族上的，而不是定义在表上或者列上。这一点与以往的关系型数...
Hbase架构
02.Hbase架构一、系统架构HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：注意：应该是每一个 RegionServer 就只有一个 HLog，而不是一个 Region 有一个 HLog。从图中可以看出Hbase是由Client、Zookeeper、Master、HRegionServer、HDFS等几个组件组成，下面来介绍一下几个组件的相关功能：（...
Hbase基础入门
01.Hbase基础入门一、简史HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。官方网站：http://hbase.apache.org2006年Google发表BigTable白皮书2006年开始开发HBase2008年将HBase弄成了Hadoop的子项目2010年HBase成为Apache顶级项目二、Hbase概述HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数...
FileBeat收集tomcat日志
06.FileBeat收集tomcat日志前言通过FileBeat对tomcat日志进行收集，并且输出到ES集群中，在Kibana中进行数据展示。一、准备阶段在开始前需要搭建好如下环境。服务器IPElasticsearchKibanaFileBeat192.168.158.132√√√192.168.158.133√ 192.168.158.134√ 二、安装Tomcat1、通过yum源下载tomcat[root@localhost]# yum -y install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-weba...
Filebeat模块与配置
一、配置详解1.1 input配置段#每一个prospectors，起始于一个破折号”-“ filebeat.prospectors: #默认log，从日志文件读取每一行。stdin，从标准输入读取 - input_type: log #日志文件路径列表，可用通配符，不递归 paths: - /var/log/*.log #编码，默认无，plain(不验证或者改变任何输入), latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gbk, hz-gb-2312, euc-kr, euc-jp, iso...
FileBeat安装步骤
04.FileBeat安装步骤一、安装1.下载官网地址：https://www.elastic.co/cn/downloads/past-releases#filebeat选中对应版本的Filebeat，笔者ES版本为7.20，所以需要下载7.20版本的filebeat2.下载后，我们上传到服务器上，然后创建一个文件夹进行解压# 创建文件夹 [es@bogon beats]$ mkdir -p /soft/beats [es@bogon beats]$ cd /soft/beats #上传filebeat [es@bogon beats]$ rz # 解压文件 [es@bogon bea...
Filebeat介绍
03.Filebeat介绍一、简述 Filebeat是Beat成员之一，基于Go语言，无任何依赖，并且比logstash更加轻量，非常适合安装在生产机器上，不会带来过高的资源占用，轻量意味着简单，所以Filebeat并没有集成和logstash一样的正则处理功能，而是将收集的日志原样上报。 常用的Elastic Stack日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。然后将过滤之后的文件输送到elasticsearch中，通过kibana去...
Beats简介
02.Beats简介一、概念 Beats是轻量级（资源高效、无依赖性、小型）和开放源代码日志发送程序的集合，这些日志发送程序充当安装在基础结构中不同服务器上的代理，用于收集日志或指标（metrics）。这些可以是日志文件（Filebeat），网络数据（Packetbeat），服务器指标（Metricbeat）或Elastic和社区开发的越来越多的Beats可以收集的任何其他类型的数据。 收集后，数据将直接发送到Elasticsearch或Logstash中进行其他处理。Beats建立在名为libbeat的Go框架之上，该框架用于数据转发，这意味着社区一直在开发和贡献新的B...
Elastic Stack简介
01.Elastic Stack简介前言ELK这个词被很多人所熟知，但是说到Elastic Stack就比较陌生，先说说ELK和Elastic Stack的关系。ELK是三款软件的简称，分别是由Elasticsearch、Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，在叫原来的名字有点不合适，所以就形成了Elastic Stack。总结：ELK单指三个软件Elasticsearch、Logstash、Kibana，但是Elastic Stack是指包含ELK和Beats在内的整个生态。一、组件介绍1. Elasticsearch 分布式搜索和分析...
Elasticsearch集群故障转移
03.Elasticsearch集群故障转移一、概念1.1 概述当Elasticsearch的某个节点出现故障时，集群会进行一系列的操作，用来 保证整个集群的稳定性和数据不被丢失。当集群中只有一个节点在运行时，意味着会有一个单点故障问题——没有冗余。 幸运的是，我们只需再启动一个节点（进行数据备份）即可防止数据丢失。1.2 启动多个节点启动第二个节点后，集群状态如图：第二个节点已经加入集群，三个复制分片(replica shards)也已经被分配了——分别对应三个主分片，这意味着在丢失任意一个节点的情况下依旧可以保证数据的完整性。文档的索引将首先被存储在主分片中，然后并发复制到对应的复制...