共计 2616 个字符，预计需要花费 7 分钟才能阅读完成。
使用 ELK+Redis 搭建 Nginx 日志分析平台
logstash,elasticsearch,kibana 怎么进行 nginx 的日志分析呢？首先，架构方面，nginx 是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis 的 list 结构正好可以作为队列使用。然后分析使用 elasticsearch 就可以进行分析和查询了。
我们需要的是一个分布式的，日志收集和分析系统。logstash 有 agent 和 indexer 两个角色。对于 agent 角色，放在单独的 web 机器上面，然后这个 agent 不断地读取 nginx 的日志文件，每当它读到新的日志信息以后，就将日志传送到网络上的一台 redis 队列上。对于队列上的这些未处理的日志，有不同的几台 logstash indexer 进行接收和分析。分析之后存储到 elasticsearch 进行搜索分析。再由统一的 kibana 进行日志 web 界面的展示。
下面我计划在一台机器上实现这些角色。
准备工作
- 安装了 redis, 开启在 6379 端口
- 安装了 elasticsearch, 开启在 9200 端口
- 安装了 kibana, 开启了监控 web
- logstash 安装在 /usr/local/logstash
- nginx 开启了日志，目录为：/usr/share/nginx/logs/test.access.log
设置 nginx 日志格式
在 nginx.conf 中设置日志格式：logstash
log_format logstash '$http_host $server_addr $remote_addr [$time_local]"$request" '
'$request_body $status $body_bytes_sent"$http_referer""$http_user_agent" '
'$request_time $upstream_response_time';在 vhost/test.conf 中设置 access 日志：
access_log /usr/share/nginx/logs/test.access.log logstash;开启 logstash agent
注：这里也可以不用 logstash，直接使用 rsyslog
创建 logstash agent 配置文件
vim /usr/local/logstash/etc/logstash_agent.conf代码如下：
input {
file {type => "nginx_access"
path => ["/usr/share/nginx/logs/test.access.log"]
}
}
output {
redis {host => "localhost"
data_type => "list"
key => "logstash:redis"
}
}启动 logstash agent
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf这个时候，它就会把 test.access.log 中的数据传送到 redis 中，相当于 tail -f。
开启 logstash indexer
创建 logstash indexer 配置文件
vim /usr/local/logstash/etc/logstash_indexer.conf代码如下：
input {
redis {host => "localhost"
data_type => "list"
key => "logstash:redis"
type => "redis-input"
}
}
filter {
grok {
match => ["message", "%{WORD:http_host} %{URIHOST:api_domain} %{IP:inner_ip} %{IP:lvs_ip} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_verb} %{URIPATH:baseurl}(?:\?%{NOTSPACE:request}|) HTTP/%{NUMBER:http_version}\"(?:-|%{NOTSPACE:request}) %{NUMBER:http_status_code} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{NUMBER:time_duration:float} (?:%{NUMBER:time_backend_response:float}|-)"
]
}
kv {prefix => "request."
field_split => "&"
source => "request"
}
urldecode {all_fields => true
}
date {type => "log-date"
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z"]
}
}
output {
elasticsearch {embedded => false
protocol => "http"
host => "localhost"
port => "9200"
index => "access-%{+YYYY.MM.dd}"
}
}这份配置是将 nginx_access 结构化以后塞入 elasticsearch 中。
对这个配置进行下说明：
- grok 中的 match 正好匹配和不论是 GET，还是 POST 的请求。
- kv 是将 request 中的 A =B&C= D 的 key，value 扩展开来，并且利用 es 的无 schema 的特性，保证了如果你增加了一个参数，可以立即生效
- urldecode 是为了保证参数中有中文的话进行 urldecode
- date 是为了让 es 中保存的文档的时间为日志的时间，否则是插入 es 的时间
好了，现在的结构就完成了，你可以访问一次 test.dev 之后就在 kibana 的控制台看到这个访问的日志了。而且还是结构化好的了，非常方便查找。
使用 kibana 进行查看
依次开启 es，logstash，kibana 之后，可以使用 es 的 head 插件确认下 es 中有 access-xx.xx.xx 索引的数据，然后打开 kibana 的页面，第一次进入的时候会让你选择 mapping，索引名字填写 access-*，则 kibana 自动会创建 mapping
本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2016-09/135095.htm
