阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

173次阅读
没有评论

共计 3213 个字符,预计需要花费 9 分钟才能阅读完成。

第一部分 Telegraf 部署和配置

Telegraf 是实现 数据采集 的工具。Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。

在平台监控系统中,可以使用 Telegraf 采集多种组件的运行信息,而不需要自己手写脚本定时采集,大大降低数据获取的难度;且 Telegraf 配置极为简单,只要有基本的 Linux 基础即可快速上手。Telegraf 按照时间序列采集数据,数据结构中包含时序信息,借助 Influxdb 可以针采集得到的数据完成各种分析计算操作。

Step 1 下载 RPM 文件

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.8.3-1.x86_64.rpm

Step 2 yum 安装已下载的 RPM 文件

yum localinstall telegraf-1.8.3-1.x86_64.rpm

Step 3 启动服务

service telegraf start

补充说明:

1. 数据的收集项的定义和收集后数据保存到什么地方都是通过 conf 文件决定。用户可修改 Telegraf 配置文件进行采集项的配置,配置文件默认位于/etc/telegraf/telegraf.conf

2.Telegraf 有四种类型的插件

插件类型 功能描述
输入插件(Inputs) 收集各种时间序列性指标,包含各种系统信息和应用信息的插件。
处理插件(Process) 当收集到的指标数据流要进行一些简单处理时,比如给所有指标添加、删除、修改一个 Tag。只是针对当前的指标数据进行。
聚合插件(Aggregate) 聚合插件有别于处理插件,就在于它要处理的对象是某段时间流经该插件的所有数据(所以,每个聚合插件都有一个设置,只会处理时间段内的数据),比如取最大值、最小值、平均值等操作。
输出插件(Outputs) 收集到的数据,经过处理和聚合后,输出到数据存储系统,可以是各种地方,如:文件、InfluxDB、各种消息队列服务等等。

3.https://github.com/influxdata/telegraf 中   Input Plugins 部分 有对各个系统、应用、服务的监控项配置,我们可以直接添加到既有的 conf 文件中。

 Output Plugins 部分是对收集数据存放地址的设置。

4. 可以同时将数据保存到多种类型的数据库中。下面是将收集的数据保存到 InfluxDB 中的设置。

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

5. 根据需要 (服务器的角色 / 监控需要) 重新生成 telegraf.conf 文件, 例如, 监控项为 cpu, 输出的数据为 influxdb. (再次强调 telegraf 服务默认的配置文件在 /etc/telegraf/ 下)

telegraf --input-filter cpu --output-filter influxdb config > telegraf.conf

第二部分 InfluxDB 的安装与部署

InfluxDB 是实现 数据存储 的工具。InfluxDB 是一款优秀的时间序列数据库,适合存储设备性能、日志、物联网传感器等带有时间戳的数据,可以轻松处理高写入和高查询负载(数据采集与数据可视化非常常见的场景)。

InfluxDB 有三大特性:

  • 时序性(Time Series):与时间相关的函数的灵活使用(例如最大、最小、求和等);

  • 度量(Metrics):对实时大量数据进行计算;

  • 事件(Event):支持任意的事件数据,换句话说,任意事件的数据我们都可以做操作。

具体的安装过程如下:

Step 1 下载 InfluxDB 的 RPM 文件

 
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6.x86_64.rpm

Step 2 安装已下载的文件

 
yum localinstall influxdb-1.7.6.x86_64.rpm

Step 3 启动服务

 
systemctl start influxdb    ---- 启动服务
systemctl status influxdb ---- 查看服务状态

Step 4 登入验证

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

补充说明:

1. 默认生成的 influxdb.conf 位于 /etc/influxdb/influxdb.conf。

2. 几个默认的数据文件路径需注意,或适当调整

数据文档 文档路径 解释 说明
meta /var/lib/influxdb/meta Controls the parameters for the Raft consensus group that stores metadata about the InfluxDB cluster.
存放数据库元数据。
data /var/lib/influxdb/data The directory where the TSM storage engine stores TSM files.
存放最终存储的数据,文件以.tsm 结尾。
wal /var/lib/influxdb/wal The directory where the TSM storage engine stores WAL files.
存放数据库元数据。

 3. 常用的一些命令

命令 实现功能
show databases 显示所有数据库
use XXXX 转到某个数据库下面
show measurements 显示当前库下的所有表
select * from “XXXXX” 查询指定表的数据;表名中间有点号时,表名双引号;

 4. measurement,tags,fields,points 与普通的关系型数据库的对应:

InfluxDB 对象 关系型数据库对象
measurement table
tags 索引的列
fields
points 行数据

第三部分 Grafana 的安装与部署

Grafana 是实现 数据展示(数据可视化) 的工具。Grafana 是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知。

它主要有以下六大特点:

1、展示方式:快速灵活的客户端图表,面板插件有许多不同方式的可视化指标和日志,官方库中具有丰富的仪表盘插件,比如热图、折线图、图表等多种展示方式;

2、数据源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticsearch,CloudWatch 和 KairosDB 等;

3、通知提醒:以可视方式定义最重要指标的警报规则,Grafana 将不断计算并发送通知,在数据达到阈值时通过 Slack、PagerDuty 等获得通知;

4、混合展示:在同一图表中混合使用不同的数据源,可以基于每个查询指定数据源,甚至自定义数据源;

5、注释:使用来自不同数据源的丰富事件注释图表,将鼠标悬停在事件上会显示完整的事件元数据和标记;

6、过滤器:Ad-hoc 过滤器允许动态创建新的键 / 值过滤器,这些过滤器会自动应用于使用该数据源的所有查询。

Step 1 下载 RPM 安装包

 
wget https://dl.grafana.com/oss/release/grafana-6.2.4-1.x86_64.rpm

Step 2 安装

 
yum localinstall grafana-6.2.4-1.x86_64.rpm

Step 3 服务开启

 
systemctl start grafana-server.service    ---- 开启服务
systemctl status grafana-server.service  ---- 服务状态查看

Step 4 验证

安装后,默认端口为 3000。可通过浏览器直接登入访问:http://172.XXX.XXX.XXX:3000

Step 5 Grafana 关于 收集到的数据监控显示

(1)设置数据源,

 通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

 注意,数据源类型需选择 InfluxDB 

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

(2)可以设置一个 Folder,将同类的 dashboards 放到一起

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

(3)设置新的监控项

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

 Format AS 栏位,请选择【Time Series】,不可以选择【Table】

通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计3213字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中