李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
Java
正文
FileBeat安装步骤
Leefs
2021-02-11 PM
4043℃
2条
# 04.FileBeat安装步骤 ### 一、安装 **1.下载** 官网地址：https://www.elastic.co/cn/downloads/past-releases#filebeat 选中对应版本的Filebeat，笔者ES版本为7.20，所以需要下载7.20版本的filebeat  2.下载后，我们上传到服务器上，然后创建一个文件夹进行解压 ```linux # 创建文件夹 [es@bogon beats]$ mkdir -p /soft/beats [es@bogon beats]$ cd /soft/beats #上传filebeat [es@bogon beats]$ rz # 解压文件 [es@bogon beats]$ tar -zxvf filebeat-7.2.0-linux-x86_64.tar.gz # 重命名 [es@bogon beats]$ mv filebeat-7.2.0-linux-x86_64/ filebeat ``` **3.进入filebeat目录下，创建对应的配置文件** ``` [es@bogon beats]$ cd filebeat [es@bogon filebeat]$ vim mogublog.yml ``` 添加如下内容 ```yml filebeat.inputs: # filebeat input输入 - type: stdin # 标准输入 enabled: true # 启用标准输入 setup.template.settings: index.number_of_shards: 3 # 指定下载数 output.console: # 控制台输出 pretty: true # 启用美化功能 enable: true ``` **4.为mogublog.yml去掉分组写权限** ``` [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog.yml ``` **5.启动** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog.yml ``` **6.在控制台输入hello** 就能看到我们会有一个json的输出，是通过读取到我们控制台的内容后输出的  内容如下 ```json { "@timestamp": "2021-01-17T19:39:15.897Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.2.0" }, "log": { "offset": 0, "file": { "path": "" } }, "message": "hello", "input": { "type": "stdin" }, "ecs": { "version": "1.0.0" }, "host": { "name": "bogon" }, "agent": { "hostname": "bogon", "id": "627ab2af-b8b2-43d8-92f5-2c0420d63995", "version": "7.2.0", "type": "filebeat", "ephemeral_id": "40254ae0-ef67-4892-af6a-d8107cee4305" } } ``` ### 二、读取文件配置 **1.再次创建一个文件，叫 mogublog-log.yml** ``` [es@bogon filebeat]$ vim mogublog-log.yml ``` 然后在文件里添加如下内容 ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2.添加完成后，我们在到下面目录创建一个日志文件** ```linux [es@bogon filebeat]$ mkdir -p /soft/beats/logs [es@bogon filebeat]$ cd /soft/beats/logs/ [es@bogon logs]$ echo "hello" >> a.log ``` **3.再次启动filebeat** ```linux [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog-log.yml [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` 能够发现，它已经成功加载到了我们的日志文件 a.log  同时我们还可以继续往文件中追加内容 ``` echo "are you ok ?" >> a.log ``` 追加后，我们再次查看filebeat，也能看到刚刚我们追加的内容  可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。 ### 三、自定义字段 **1. 当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] #添加自定义tag，便于后续的处理 fields: #添加自定义字段 from: test-web fields_under_root: true #true为添加到根节点，false为添加到子节点中 setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2. 添加完成后，我们重启 filebeat** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` **3. 添加新的数据到 a.log中** ``` [es@bogon logs]$ echo "test-web" >> a.log ``` 我们就可以看到字段在原来的基础上，增加了两个  ### 四、输出到ElasticSearch **1. 我们可以通过配置，将修改成如下所示** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] fields: from: test-web fields_under_root: false setup.template.settings: index.number_of_shards: 1 output.elasticsearch: hosts: ["127.0.0.1:9200"] ``` 启动成功后，我们就能看到它已经成功连接到es了  **2. 我们到刚刚的 logs文件夹向 a.log文件中添加内容** ``` [es@bogon logs]$ echo "hello mogublog" >> a.log ``` **3. 在ES中，我们可以看到，多出了一个 filebeat的索引库**  然后我们浏览对应的数据，看看是否有插入的数据内容  **启动命令** ``` ./filebeat -e -c mogublog-es.yml ./filebeat -e -c mogublog-es.yml -d "publish" ``` **参数说明** - **-e：**输出到标准输出，默认输出到syslog和logs下 - **-c：**指定配置文件 - **-d：**输出debug信息
标签:
Elasticsearch
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1092.html
上一篇
Filebeat介绍
下一篇
Filebeat模块与配置
评论已关闭
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
NLP
4
标签云
Filter
设计模式
数据结构和算法
工具
ClickHouse
Http
gorm
Python
VUE
pytorch
前端
容器深入研究
JavaScript
稀疏数组
Jenkins
ajax
机器学习
Azkaban
Linux
Sentinel
微服务
Spark Core
Map
Git
FileBeat
Kafka
Quartz
高并发
HDFS
Flume
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞
评论已关闭