Redis与可视化工具Grafana部署

共计 3527 个字符，预计需要花费 9 分钟才能阅读完成。

使用 Redis 的原因是当多个 clinet 同时写入到 logstash 或者 elasticsearch 时候，有 io 瓶颈，所以选择了 redis , 当然可以使用 kafka，rabbitmq 等消息中间件

redis3.2.3

安装依赖
yum install -y gcc gcc-c++ pcre zlib pcre-devel tcl
解压改名 cd 到目录
编译安装测试
make && cd src &&make test
make install
创建配置
mkdir /etc/redis
cp /usr/local/redis/redis.conf /etc/redis/6379.conf
vim /etc/redis/6379.conf
监听地址
bind 192.168.1.115
端口（有需要自行改动）
port 6379
去掉前边 #注释，修改 foobared 为你想配置的任意密码
requirepass foobared
日志地址
logfile “/var/log/redis.log”
启动脚本
vim /etc/init.d/redis

#chkconfig: 2345 90 10
#description: service of redis for start and stop add by tomener
PATH=/usr/local/bin:/sbin:/usr/bin:/bin
REDISPORT=6379
EXEC=/usr/local/redis/src/redis-server
REDIS_CLI=/usr/local/redis/src/redis-cli

PIDFILE=/var/run/redis_${REDISPORT}.pid
CONF=”/etc/redis/${REDISPORT}.conf”

case “$1” in
start)
if [-f $PIDFILE]
then
echo “$PIDFILE exists, process is already running or crashed.”
else
echo “Starting Redis server…”
$EXEC $CONF
fi
if [“$?”=”0”]
then
echo “Redis is running…”
fi
;;
stop)
if [! -f $PIDFILE]
then
echo “$PIDFILE exists, process is not running.”
else
PID=$(cat $PIDFILE)
echo “Stopping…”
$REDIS_CLI -h $BIND_IP -a $AUTH -p $REDISPORT SHUTDOWN
sleep 2
while [-x $PIDFILE]
do
echo “Waiting for Redis to shutdown…”
sleep 1
done
echo “Redis stopped”
fi
;;
restart|force-reload)
${0} stop
${0} start
;;
*)
echo “Usage: /etc/init.d/redis {start|stop|restart|force-reload}” >&2
exit 1
esac

启动
chmod +x /etc/init.d/redis
/etc/init.d/redis start

logstash output 输出到 redis 然后再用 logstash-server 处理数据输出到 redis 集群（理想中还可以加入 kafka，rabbitmq 等消息中间件这些太庞大了暂时不做）

到 logstash-server 目录下
vim config/server-logst.conf
在 input 后面加入

redis {
host => localhost # redis 主机地址
port => 6379 # redis 端口号
data_type => “channel” # 使用发布 / 订阅模式
key => “logstash_list_0” # 发布通道名称
}
}

logstash 输出到 ES 参考 https://www.linuxidc.com/Linux/2020-01/162077.htm

可视化 x -pack

安装 x -pack

x-pack 是 elasticsearch 的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，虽然 x -pack 被设计为一个无缝的工作，但是你可以轻松的启用或者关闭一些功能。
bin/elasticsearch-plugin install x-pack
bin/kibana-plugin install x-pack
安装以后 ELK 传输需要验证用户密码
默认一个超级用户 elastic，其默认的密码是 changeme
登陆测试发现现在 es 和 kibana 都需要用户验证了
然后
vim /usr/local/elasticsearch/config/elasticsearch.yml
vim /usr/local/kibana/config/kibana.yml
# 禁用插件先
xpack.security.enabled: false
测试不需要验证用户

配置 kibana 具体设置
vim /usr/local/kibana/config/kibana.yml
server.basePath: “”
server.maxPayloadBytes: 1048576
elasticsearch.preserveHost: true
kibana.index: “.kibana”
elasticsearch.pingTimeout: 1500
elasticsearch.requestTimeout: 30000
elasticsearch.shardTimeout: 0
elasticsearch.startupTimeout: 5000
pid.file: /var/run/kibana.pid
logging.dest: stdout
logging.silent: false
logging.quiet: false
logging.verbose: false
ops.interval: 5000
i18n.defaultLocale: “en”
elasticsearch.username: “elastic”
elasticsearch.password: “changeme”

以及
vim /usr/local/elasticsearch/config/elasticsearch.yml
vim /usr/local/kibana/config/kibana.yml
# 启用插件
xpack.security.enabled: true
登陆 kibana 然后 monitoring 选项可以看到状态了！不过此服务试用一月！可以官方注册一年的阉割版（只有监控了其他的都没了）的使用时间！

给出注册流程

首先点击到期时间这里

然后选择最基本的免费使用，旁边是收费版带售后的。

开始注册吧

注册完成会发一封邮件给你许可证下载地址
直接登录同意协议 选择你的版本然后开始下载

然后到 kibana 里使用你的新许可证

# 一个月到期后基本其他的功能都没了

以下为扩展（2.x、5.x 的 ES 版本可以尝试）

下面将 ES 连接到 grafana 可视化

grafana-5.1（目前只支持 2.x、5.x 暂时没法用了）

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.0-1.x86_64.rpm
yum localinstall grafana-5.1.0-1.x86_64.rpm
rpm -qc grafana
/etc/grafana/grafana.ini
/etc/grafana/ldap.toml
/etc/init.d/grafana-server
/etc/sysconfig/grafana-server
/usr/lib/systemd/system/grafana-server.service

二进制文件 /usr/sbin/grafana-server
服务管理脚本 /etc/init.d/grafana-server
安装默认文件 /etc/sysconfig/grafana-server
配置文件 /etc/grafana/grafana.ini
安装 systemd 服务 (如果 systemd 可用 grafana-server.service
日志文件 /var/log/grafana/grafana.log
启动 grafana-server 服务
systemctl enable grafana-server.service
systemctl start grafana-server.service
访问测试 http://ip:3000/
默认账号 admin 密码也是 admin
登陆后
添加接入源（ES、MySQL、zabbix 等）

：