李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
Java
正文
FileBeat安装步骤
Leefs
2021-02-11 PM
2608℃
2条
# 04.FileBeat安装步骤 ### 一、安装 **1.下载** 官网地址：https://www.elastic.co/cn/downloads/past-releases#filebeat 选中对应版本的Filebeat，笔者ES版本为7.20，所以需要下载7.20版本的filebeat  2.下载后，我们上传到服务器上，然后创建一个文件夹进行解压 ```linux # 创建文件夹 [es@bogon beats]$ mkdir -p /soft/beats [es@bogon beats]$ cd /soft/beats #上传filebeat [es@bogon beats]$ rz # 解压文件 [es@bogon beats]$ tar -zxvf filebeat-7.2.0-linux-x86_64.tar.gz # 重命名 [es@bogon beats]$ mv filebeat-7.2.0-linux-x86_64/ filebeat ``` **3.进入filebeat目录下，创建对应的配置文件** ``` [es@bogon beats]$ cd filebeat [es@bogon filebeat]$ vim mogublog.yml ``` 添加如下内容 ```yml filebeat.inputs: # filebeat input输入 - type: stdin # 标准输入 enabled: true # 启用标准输入 setup.template.settings: index.number_of_shards: 3 # 指定下载数 output.console: # 控制台输出 pretty: true # 启用美化功能 enable: true ``` **4.为mogublog.yml去掉分组写权限** ``` [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog.yml ``` **5.启动** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog.yml ``` **6.在控制台输入hello** 就能看到我们会有一个json的输出，是通过读取到我们控制台的内容后输出的  内容如下 ```json { "@timestamp": "2021-01-17T19:39:15.897Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.2.0" }, "log": { "offset": 0, "file": { "path": "" } }, "message": "hello", "input": { "type": "stdin" }, "ecs": { "version": "1.0.0" }, "host": { "name": "bogon" }, "agent": { "hostname": "bogon", "id": "627ab2af-b8b2-43d8-92f5-2c0420d63995", "version": "7.2.0", "type": "filebeat", "ephemeral_id": "40254ae0-ef67-4892-af6a-d8107cee4305" } } ``` ### 二、读取文件配置 **1.再次创建一个文件，叫 mogublog-log.yml** ``` [es@bogon filebeat]$ vim mogublog-log.yml ``` 然后在文件里添加如下内容 ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2.添加完成后，我们在到下面目录创建一个日志文件** ```linux [es@bogon filebeat]$ mkdir -p /soft/beats/logs [es@bogon filebeat]$ cd /soft/beats/logs/ [es@bogon logs]$ echo "hello" >> a.log ``` **3.再次启动filebeat** ```linux [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog-log.yml [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` 能够发现，它已经成功加载到了我们的日志文件 a.log  同时我们还可以继续往文件中追加内容 ``` echo "are you ok ?" >> a.log ``` 追加后，我们再次查看filebeat，也能看到刚刚我们追加的内容  可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。 ### 三、自定义字段 **1. 当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] #添加自定义tag，便于后续的处理 fields: #添加自定义字段 from: test-web fields_under_root: true #true为添加到根节点，false为添加到子节点中 setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2. 添加完成后，我们重启 filebeat** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` **3. 添加新的数据到 a.log中** ``` [es@bogon logs]$ echo "test-web" >> a.log ``` 我们就可以看到字段在原来的基础上，增加了两个  ### 四、输出到ElasticSearch **1. 我们可以通过配置，将修改成如下所示** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] fields: from: test-web fields_under_root: false setup.template.settings: index.number_of_shards: 1 output.elasticsearch: hosts: ["127.0.0.1:9200"] ``` 启动成功后，我们就能看到它已经成功连接到es了  **2. 我们到刚刚的 logs文件夹向 a.log文件中添加内容** ``` [es@bogon logs]$ echo "hello mogublog" >> a.log ``` **3. 在ES中，我们可以看到，多出了一个 filebeat的索引库**  然后我们浏览对应的数据，看看是否有插入的数据内容  **启动命令** ``` ./filebeat -e -c mogublog-es.yml ./filebeat -e -c mogublog-es.yml -d "publish" ``` **参数说明** - **-e：**输出到标准输出，默认输出到syslog和logs下 - **-c：**指定配置文件 - **-d：**输出debug信息
标签:
Elasticsearch
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1092.html
上一篇
Filebeat介绍
下一篇
Filebeat模块与配置
取消回复
评论啦~
提交评论
已有 2 条评论
sya
非常棒
回复
2022-04-15 11:26
Leefs
博主
@sya
谢谢对本站的支持
回复
2022-04-17 08:09
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
nginx
Kafka
Http
Hive
Golang
Docker
Map
Spark Core
字符串
栈
持有对象
gorm
Elasticsearch
线程池
Jquery
HDFS
Elastisearch
稀疏数组
SpringCloudAlibaba
RSA加解密
Eclipse
Yarn
DataWarehouse
数据结构
高并发
Shiro
国产数据库改造
工具
NIO
前端
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞
非常棒
谢谢对本站的支持