阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Logstash5.4.1解析日志报错处理

481次阅读
没有评论

共计 1790 个字符,预计需要花费 5 分钟才能阅读完成。

下载最新的 logstash5.4.1 打开把之前的配置文件加入进去,启动 logstash 提示报错了,未使用 geoip 插件的配置文件正常启动。按照提示发现是 maxmind 的数据库解析出错,重新至 maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为

          geoip {
                source => [“X_Forward_IP”]
                database => “/logstash2.2.2/conf/GeoLiteCity.dat”
更改为
          geoip {
                source => [“X_Forward_IP”]
                database => “/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb”

Logstash 多实例问题:
当启动多个 /usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf 之后就会出现 you must change the “path.data” setting. 这个时候就必须要
mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/1
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/2
需要在后面加上 –path.data 参数才能启动多实例

设置副本数及分片数:
elasticsearch 在以前的 2.x 版本,可以在配置文件中指定副本数及分片数。在 elasticsearch 的 5.x 的版本中不能配置文件中配置这 2 个参数了。需要副本数,可以设置为:
全局设定:
curl -XPUT http://192.168.2.228:9200/_settings -d ‘{“number_of_replicas” : 0}’

定义某一个索引:
curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d ‘{“number_of_replicas” : 0}’

elasticsearch 分片不向其他节点分布:
集群由 2 台 es 组成,但是分片只分布在一台节点,查看日志发现报错
[2017-08-03T23:59:24,414][WARN][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node
这个意思就是节点空间快使用完毕,不向节点复制数据,导致的节点出错,清理集群机器磁盘空间。
如想要关闭磁盘检查功能
12345 curl -XPUT http://localhost:9200/_cluster/settings -d ‘{
    “transient” : {
        “cluster.routing.allocation.disk.threshold_enabled” : false
    }
}’

ps: 刚开始我以为是新版本的 logstash 不兼容老版本的 grok,原来只是 IP 数据库的问题

Logstash 监控日志文件时应对日志文件名改变的原理  http://www.linuxidc.com/Linux/2016-08/133994.htm

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-08/146197.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计1790字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19356
评论数
4
阅读量
8277734
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛 NAS-7:手把手教你免费内网穿透 -Cloudflare tunnel 前言 大家好,我是星...
星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛 NAS-2:飞牛配置 RAID 磁盘阵列 前言 大家好,我是星哥之前星哥写了《星哥带你玩飞牛 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞...
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
飞牛NAS升级到最新版,有线无法获取IP、无线网络莫名打开的BUG问题

飞牛NAS升级到最新版,有线无法获取IP、无线网络莫名打开的BUG问题

  飞牛 NAS 升级到最新版,有线无法获取 IP、无线网络莫名打开的 BUG 问题 星哥的飞牛 N...
免费获得大模型的Api-Key的方法:英伟达提供GLM-4.7、Minimax M2.1模型和GitHub的AI大模型API申请

免费获得大模型的Api-Key的方法:英伟达提供GLM-4.7、Minimax M2.1模型和GitHub的AI大模型API申请

  免费获得大模型的 Api-Key 的方法:英伟达提供 GLM-4.7、Minimax M2.1 ...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...