ELK生命周期管理使用详解

[TOC]前言一般在使用ELK对日志进行收集时,为了避免单个索引文件过大,通常按日期来对日志做切割,根据日期对产生的日志生成相应的索引。索引名称通常如下方所示:nginx_log-2022.01.01 nginx_log-2022.01.02 nginx_log-2022.01.03 nginx_log-2022.01.04 nginx_log-2022.01.05上方是从nginx采集过来...

大数据 2021-12-31 PM 2092次 1条

Elasticsearch索引生命周期管理

[TOC]前言在ELK架构中,使用Elasticsearch来存储系统日志时,有如下典型的特点:数据量非常大经常访问新增的数据,随着时间的推移,数据的价值也在逐渐降低随着数据量的增大,Elasticsearch创建索引的数量也在不断增长,这个时候就需要对 索引 进行一定策略的维护管理甚至是删除清理,否则随着数据量越来越多除了浪费磁盘与内存空间之外,还会严重影响 Elasticsearch 的...

大数据 2021-12-27 PM 2538次 0条

Cerebro安装教程

[TOC]前言准备环境:JDK1.8CentOS 7.X一、介绍Cerebro是以前的 Elasticsearch插件Elasticsearch Kopf 的演变,这不适用于 Elasticsearch 版本5.x或更高版本,这是由于删除了site plugins。Cerebro 是查看分片分配和最有用的界面之一通过图形界面执行常见的索引操作。 完全开放源,并且它允许您添加用户,密码或 LD...

大数据 2021-12-25 PM 2039次 0条

ELK启动查看状态等常用命令

[TOC]前言本篇都以7.2.0版本为例。一、ElasticsearchElasticsearch (ES)是一个分布式的 Restful 风格的搜索和数据分析引擎,它具有以下特点:查询:允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。分析:Elasticsearch 聚合让您能够从大处着眼,探索数据的趋势和模式。速度:很快,可以做到亿万级的数据...

大数据 2021-12-20 PM 2149次 0条

FileBeat收集tomcat日志

06.FileBeat收集tomcat日志前言通过FileBeat对tomcat日志进行收集,并且输出到ES集群中,在Kibana中进行数据展示。一、准备阶段在开始前需要搭建好如下环境。服务器IPElasticsearchKibanaFileBeat192.168.158.132√√√192.168.158.133√ 192.168.158.134√ 二、安装Tomcat1、通过yum源...

Java 2021-02-11 PM 3255次 0条

Filebeat模块与配置

一、配置详解1.1 input配置段#每一个prospectors,起始于一个破折号”-“ filebeat.prospectors: #默认log,从日志文件读取每一行。stdin,从标准输入读取 - input_type: log #日志文件路径列表,可用通配符,不递归 paths: - /var/log/*.log #编码,默认无,plain(不验证或者改变任何输入), ...

Java 2021-02-11 PM 2196次 0条

FileBeat安装步骤

04.FileBeat安装步骤一、安装1.下载官网地址:https://www.elastic.co/cn/downloads/past-releases#filebeat选中对应版本的Filebeat,笔者ES版本为7.20,所以需要下载7.20版本的filebeat2.下载后,我们上传到服务器上,然后创建一个文件夹进行解压# 创建文件夹 [es@bogon beats]$ mkdir -...

Java 2021-02-11 PM 3571次 2条

Filebeat介绍

03.Filebeat介绍一、简述​ Filebeat是Beat成员之一,基于Go语言,无任何依赖,并且比logstash更加轻量,非常适合安装在生产机器上,不会带来过高的资源占用,轻量意味着简单,所以Filebeat并没有集成和logstash一样的正则处理功能,而是将收集的日志原样上报。​ 常用的Elastic Stack日志采集方案中,大部分的做法就是将所有...

Java 2021-02-11 PM 3055次 1条

Beats简介

02.Beats简介一、概念​ Beats是轻量级(资源高效、无依赖性、小型)和开放源代码日志发送程序的集合,这些日志发送程序充当安装在基础结构中不同服务器上的代理,用于收集日志或指标(metrics)。这些可以是日志文件(Filebeat),网络数据(Packetbeat),服务器指标(Metricbeat)或Elastic和社区开发的越来越多的Beats可以收集的任何其他类...

Java 2021-02-11 PM 1768次 0条

Elastic Stack简介

01.Elastic Stack简介前言ELK这个词被很多人所熟知,但是说到Elastic Stack就比较陌生,先说说ELK和Elastic Stack的关系。ELK是三款软件的简称,分别是由Elasticsearch、Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,在叫原来的名字有点不合适,所以就形成了Elastic Stack。总结:ELK单指三个软件E...

Java 2021-02-11 PM 2117次 0条