CentOS7.4下ELK6.2.4从零开始安装部署

共计 4327 个字符，预计需要花费 11 分钟才能阅读完成。

公司原本已经做了日志收集，不过是收集于单台云服务器，还需要研发以及运维去登陆查看日志。以前用的都是低版本的 ELK（2.X），这次准备体验试用下最新版本的。理论以及架构这些不再说明，网上很多请自行查看！

环境说明：CentOS7.4、jdk1.8 等
下面是安装过程
首先是确认环境 rpm -qa|grep Java
如果有其他版本的请删除
rpm–e –nodeps java-*
检查是否删除
java –version

# 开始安装 jdk1.8 自行从 Oracle 官网下载

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压改名设置环境变量
 vim /etc/profile 在末行加入
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
配置设置 source /etc/profile
测试 java -version

# 设置内核参数
vim /etc/sysctl.conf
增加以下参数
vm.max_map_count=655360
执行以下命令，确保生效配置生效：
sysctl  -p
设置资源参数
vim /etc/security/limits.conf
# 修改
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
# 设置 elk 用户参数
vim /etc/security/limits.d/20-nproc.conf
elk        soft    nproc    65536
elk 用户默认已经创建

ELK 官网下载地址
https://www.elastic.co/cn/downloads
所有组件都在根据自己喜欢下
# elasticsearch-6.2.4（3 台）
解压到 /usr/local 改名 elasticsearch
 chown -R elk.elk  elasticsearch/
到解压目录下

vim config/elasticsearch.yml 同样是末行加入
# 这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES 会按照此集群名称进行集群发现
cluster.name: elk123
# 数据目录
path.data:  data/elk/data
#log 目录
path.logs:  data/elk/logs
# 节点名称（3 台 1 -3）
node.name: node-1
# 修改一下 ES 的监听地址，这样别的机器也可以访问
network.host: 0.0.0.0
# 默认的端口号以及访问
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: “*”
## 集群以及节点数
discovery.zen.ping.unicast.hosts: [“192.168.1.112”, “192.168.1.113”,”192.168.1.114″]
discovery.zen.minimum_master_nodes: 3

注意配置冒号后有空格，新建日志和数据目录给
mkdir -p /data/elk/log
mkdir -p /data/elk/data

 chown -R elk.elk /data/
 启动 elasticsearch
 su elk -c “/usr/local/elasticsearch/bin/elasticsearch -d “

 测试访问 ip:9200

 es 集群可视化（5.0 以后 ES 不再提供内置）
# elasticsearch-head 安装
依赖安装
yum install git nodejs npm
检测 git clone git://github.com/mobz/elasticsearch-head.git
node -v
npm -v
到目录下 npm install -g cnpm –registry=https://registry.npm.taobao.org
vim /usr/local/elasticsearch/config/elasticsearch.yml 末行加入
http.cors.enabled: true
http.cors.allow-origin: “*”
cd elasticsearch-head/
vim Gruntfile.js
在 connect 属性中，增加 hostname:‘0.0.0.0’
      connect: {
                        server: {
                                options: {
                                        hostname: ‘0.0.0.0’,
                                        port: 9100,
                                        base: ‘.’,
                                        keepalive: true

vi _site/app.js
# 编辑配置文件，填写 elasticsearch server 的地址
init: function(parent) {
                        this._super();
                        this.prefs = services.Preferences.instance();
                        this.base_uri = this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://es_ip:9200”;
                        if(this.base_uri.charAt( this.base_uri.length – 1) !== “/” ) {
                                // XHR request fails if the URL is not ending with a “/”
                                this.base_uri += “/”;
                        }
# 启动程序
cnpm install -g grunt
重启 es
启动 elasticsearch-head
nohup grunt server &
# 访问 web
http://xxx:9100

#  kibana-6.2.4(单台即可）
解压安装改名
cd  kibana/
vim config/kibana.yml
# 开启默认端口 5601 如果 5601 被占用可用 5602 或其他
server.port: 5601
server.host:“hostname”这里填你的主机名
# 指向 elasticsearch 服务的 ip 地址
elasticsearch.url: http://localhost:9200
kibana.index:“.kibana”
启动
/usr/local/kibana/bin/kibana &

测试 ip:5601

# logstash-6.2.4
这个要安装在你日志所在服务器上
解压安装改名到目录下
vim config/*-logst.conf 新建一个配置文件名字自定

input{
file {
path => “/usr/loca/*.log”  #你的日志路径
start_position => beginning
ignore_older => 0
sincedb_path =>”/dev/null”
}}
filter{
grok {
match => {“message” =>”%{IPORHOST:clientip} – %{USER:auth}
\”(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\”%{NUMBER:response} (?:%{NUMBER:bytes}|-)”}
}date {
match => [“timestamp” ,”dd/MMM/YYYY:HH:mm:ss +0800″]
}
}
output{
elasticsearch {hosts => [“ip:9200”]  index => “logs-%{+YYYY.MM.dd}” }
stdout {}
}
该配置只是匹配单个项目如果多个请参考以下

input {
    file {
        path => “/var/log/messages”
        type => “system”
        start_position => “beginning”
    }
    file {
        path => “/var/log/elasticsearch/chuck-clueser.log”
        type => “es-error”
        start_position => “beginning”
        codec => multiline {
            pattern => “^\[“
            negate => true
            what => “previous”
        }
    }
}
output {
    if [type] == “system” {
        elasticsearch {
            hosts => [“192.168.56.11:9200”]
            index => “system-%{+YYYY.MM.dd}”
        }
    }
    if [type] == “es-error” {
        elasticsearch {
            hosts => [“192.168.56.11:9200”]
            index => “es-error-%{+YYYY.MM.dd}”
        }
    }
}
然后启动
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/*-logst.conf
然后去 kibana 看下是否有数据！要先创建索引！
此安装模式 ELK 的 head 和 kibana 基本等于无任何安全措施，建议基于 nginx 反向代理 IP 限制或者内网使用。

：