Logstash5.4.1解析日志报错处理

共计 1790 个字符，预计需要花费 5 分钟才能阅读完成。

下载最新的 logstash5.4.1 打开把之前的配置文件加入进去，启动 logstash 提示报错了，未使用 geoip 插件的配置文件正常启动。按照提示发现是 maxmind 的数据库解析出错，重新至 maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为

          geoip {
                source => [“X_Forward_IP”]
                database => “/logstash2.2.2/conf/GeoLiteCity.dat”
更改为
          geoip {
                source => [“X_Forward_IP”]
                database => “/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb”

Logstash 多实例问题：
当启动多个 /usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf 之后就会出现 you must change the “path.data” setting. 这个时候就必须要
mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/1
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/2
需要在后面加上 –path.data 参数才能启动多实例

设置副本数及分片数：
elasticsearch 在以前的 2.x 版本，可以在配置文件中指定副本数及分片数。在 elasticsearch 的 5.x 的版本中不能配置文件中配置这 2 个参数了。需要副本数，可以设置为:
全局设定:
curl -XPUT http://192.168.2.228:9200/_settings -d ‘{“number_of_replicas” : 0}’

定义某一个索引:
curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d ‘{“number_of_replicas” : 0}’

elasticsearch 分片不向其他节点分布：
集群由 2 台 es 组成，但是分片只分布在一台节点，查看日志发现报错
[2017-08-03T23:59:24,414][WARN][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node
这个意思就是节点空间快使用完毕，不向节点复制数据，导致的节点出错，清理集群机器磁盘空间。
如想要关闭磁盘检查功能
12345 curl -XPUT http://localhost:9200/_cluster/settings -d ‘{
    “transient” : {
        “cluster.routing.allocation.disk.threshold_enabled” : false
    }
}’

ps: 刚开始我以为是新版本的 logstash 不兼容老版本的 grok，原来只是 IP 数据库的问题

Logstash 监控日志文件时应对日志文件名改变的原理  http://www.linuxidc.com/Linux/2016-08/133994.htm

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-08/146197.htm