阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

利用 Puppet 实现自动化管理配置 Linux 计算机集群

486次阅读
没有评论

共计 6031 个字符,预计需要花费 16 分钟才能阅读完成。

本文介绍了一个开源的自动化计算机集群管理工具 Puppet,Puppet 是一个基于 Ruby 的开源系统配置管理工具,它有着简明的架构和良好的扩展性。同时,Puppet 还提供了特有的系统配置语言和完善的公用库,非常适合用于管理和部署大规模的 Linux 集群系统。本文将介绍 Puppet 的系统结构、工作流程和系统配置语言,其中也包含了详细的代码实例。

Puppet:开源系统配置和管理工具

随着虚拟化和云计算技术的兴起,计算机集群的自动化管理和配置成为了数据中心运维管理的热点。对于 IaaS、Paas、Saas 来说,随着业务需求的提升,后台计算机集群的数量也会线性增加。对于数据中心的运维人员来说,如何自动化管理、配置这些大规模的计算机集群节点,对于数据中心的稳定运行以及运维成本控制都显得至关重要。

Puppet 是一个开源系统配置管理工具,它有着简明的架构以及良好的扩展性;同时,Puppet 还提供了自有的系统配置描述语言以及完善的公用库,非常适合用于管理和部署大规模集群系统。

Puppet 的系统架构

Puppet 使用简明的 C/S 架构,分为 Puppet Server 和 Puppet Node。

图 1. Puppet 的架构

利用 Puppet 实现自动化管理配置 Linux 计算机集群

Puppet Server

Puppet Server 是配置和管理整个集群的大脑,管理着所有节点。系统管理员在 Puppet Server 上用 Puppet 特有的配置描述语言为各个节点编写配置文件 (manifest),配置文件描述了节点的目标状态——资源的集合。这些资源可以是文件、服务、软件包等等。各个节点会周期性的查询 Puppet Server,获得自己的最新配置文件,并且在本地应用这些配置文件,使得自身的资源和状态达到配置文件要求。

Puppet Node(Agent)

被 Puppet Master 管理着的计算机节点称为 Puppet node。Puppet node 会周期性的查询 Puppet Master,来获取自己的配置文件,并且在本地应用。在每次应用配置文件之后,Puppet node 会提供上传一份报告给 Puppet Master,以便以后的统计和分析。系统管理员也可以手动地在 Puppet Node 上执行命令,让 Puppet Node 立即查询 Puppet Server 获取自身最新的配置文件,并且在本地应用。

Puppet 的工作流程

Puppet 的工作流程可以概括成这几步:定义、模拟、应用、报告。

图 2. Puppet 的工作流程

利用 Puppet 实现自动化管理配置 Linux 计算机集群

定义 (Define)

管理员为各个节点编写配置文件,配置文件中定义了该节点所需要的资源的集合以及资源之间的关系。这些资源可以是文件、服务、软件包、可执行的命令等等。Puppet 内置的配置管理语言对这些资源提供了较为完整的底层抽象,减轻了编写配置文件的复杂度。

模拟 (Simulate)

根据节点的配置文件,我们可以了解到该节点需要什么样的资源并且处于什么样的状态。配置文件描述了节点的状态,而不是具体的配置步骤。Puppet 会将配置文件 Manifest 编译成更为详细的一种配置文件 Catalog。通过 Catalog,Puppet 会根据节点的当前状态,模拟出节点达到该目标状态所需要的步骤。

应用 (Enforce)

节点周期性地向 Puppet Server 来请求自己最新的配置文件。Puppet 会将节点的实际状态与节点配置文件中所表述的目标状态做比较,并根据得到的所需要的步骤,对节点执行操作,使其达到配置文件所表述的状态。

报告 (Report)

当每次应用执行过后,节点都会给 Puppet Server 发送一份运行报告,报告该节点的状态,以便以后的分析和统计。

Puppet 配置语言介绍

Puppet 配置管理语言中的核心概念是资源,资源可以是一个软件包,一个文件,一种服务等等。一个节点的状态可以用资源的集合以及他们之间的关系来表示。管理员不需要详细地描述配置和部署系统的具体步骤,Puppet 只需要管理员来描述系统的目标状态,即资源的集合以及它们之间的关系。Puppet 内置的执行引擎会根据节点的现有状态将配置文件转化为具体的执行步骤并且执行。

在 Puppet 中,类是一系列相关资源的集合;模块是一系列类的集合。Puppet 内置提供了一些常用的类和模块,同时用户可以定义自己的类和模块。通过类和模块使用,配置模块重用和共享变的非常容易。

安装和配置

环境配置

由于 Puppet Server 和节点之间通过主机名来通信,所以需要双方可以通过彼此的主机名来找到对应的 IP 地址。可以通过配置 DNS 或者配置 /ets/hosts 文件来实现。

安装准备

在安装官方提供的开源版本的 Puppet 软件之前,Puppet Server 和 agent 首先需要都安装官方的软件源 (Puppet 对各种 Linux 发行版都有提供支持,本文以 Ubuntu 14.04 系统为例):

下载官方软件源的安装包:

wget https://apt.puppetlabs.com/puppetlabs-release-pc1-trusty.deb

更新软件源:

sudo dpkg -i puppetlabs-release-pc1-trusty.deb
sudo apt-get update

安装 Puppet Server

sudo apt-get install puppetserver

启动 PuppetServer

sudo service puppetservice start

安装 PuppetAgent

sudo apt-get install puppet-agent

编辑 /etc/puppetlabs/puppet/puppet.conf 文件,设置该 agent 的 puppet server 的地址:

[main]
server = puppetmaster

注:puppetmaster 是 puppetserver 的主机名。

启动 puppet service

sudo /opt/puppetlabs/bin/puppet resource service puppet ensure=running enable=true



编写第一个配置文件

第一个 Hello World 配置文件

作为第一个实例配置文件,我们想让节点做一件最简单的事情:在 /etc/ 文件夹下面创建一个文件 helloworld.txt,文件的内容是”hello world from puppet!\n”。

首先我们在 puppetserver 上进入 /etc/puppetlabs/code/environments/production/manifests 文件夹,创建 site.pp 文件:

node puppetagent {

file { 'helloworld':

    path => '/etc/helloworld.txt',
    owner  => 'root',
    group  => 'root',
    mode   => '655',
    content => "hello world from puppet!\n",
    }

}

site.pp 就是节点的配置文件,里面可以包含对各个节点的配置描述。在实例配置文件中,”puppetagent”就是节点的主机名。包含在 puppetagent 中的配置描述就是该节点的资源集合的描述。

配置文件创建好后,节点会周期性地查询 PuppetServer 来获取自己的配置文件并在本地应用。当然 Puppet 也支持手动获取自己的配置。在本例中,我们通过手动的方式来进行配置更新。我们在 PuppetAgent 上手动执行命令:

root@puppetAgent:/opt/puppetlabs/bin# ./puppet agent --test
2016-05-21 14:24:14.858673 WARN  puppetlabs.facter - locale environment variables were bad; 
                         continuing with LANG=C LC_ALL=C
Info: Using configured environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for puppetagent
Info: Applying configuration version '1463811856'
Notice: /Stage[main]/Main/Node[puppetagent]/File[helloworld]/ensure: 
                        defined content as '{md5}c3aa68786c58c94ef6f3e2399920f268'
Notice: Applied catalog in 0.02 seconds
root@puppetAgent:/opt/puppetlabs/bin# cat /etc/helloworld.txt 
hello world from puppet!

我们看到节点成功从 Puppet Server 获取配置文件,并且在本地应用,对应的文件成功创建。

进阶:执行脚本任务

作为进阶的任务,我们希望节点可以执行一些更加复杂一点的任务。我们希望节点可以从 PuppetServer 获取一个命令脚本,并且执行该脚本。

我们首先在 /etc/puppetlabs/code/environments/production/modules 中创建一个名叫”test”的模块,在 test 模块下面创建一个”files”文件夹。在这个文件夹里的文件是可以被节点获取的。然后我们在这个”files”文件夹里创建一个 shell 脚本 test.sh,路径如下:

/etc/puppetlabs/code/environments/production/modules/test/files/test.sh

test.sh 文件内容:

touch /etc/helloworld.log
echo "helloworld" >> /etc/helloworld.log

该脚本会在 /etc/ 目录下创建 helloworld.log 文件,然后在文件里添加”hello world”内容。

进入目录 /etc/puppetlabs/code/environments/production/manifests,然后我们再来编辑 site.pp 文件:

node puppetagent {
file { 'test.sh':
 path => '/etc/test.sh',
 owner  => 'root',
 group  => 'root',
 mode   => '655',
 source => 'puppet:///modules/test/test.sh',
 }
exec { 'execute':
 command => 'bash /etc/test.sh',
 require => File['test.sh'],
 path => ["/bin/"],
}
}

其中,我们定义了两个资源:一个文件资源和一个执行命令资源。同时这两个资源有依赖关系,命令执行资源依赖于文件资源,所以 Puppet 会优先处理文件资源。执行命令资源会在文件资源存在后再执行。

我们看下客户端的执行结果:

root@puppetAgent:/opt/puppetlabs/bin# ./puppet agent --test
2016-05-21 15:39:39.817370 WARN  puppetlabs.facter - locale environment variables were bad; 
                                continuing with LANG=C LC_ALL=C
Info: Using configured environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for puppetagent
Info: Applying configuration version '1463816381'
Notice: /Stage[main]/Main/Node[puppetagent]/File[test.sh]/ensure: 
                                defined content as '{md5}2ce060ad2ddab2fe416ca8fb6f8da32a'
Notice: /Stage[main]/Main/Node[puppetagent]/Exec[execute]/returns: executed successfully
Notice: Applied catalog in 0.05 seconds
root@puppetAgent:/opt/puppetlabs/bin# cat /etc/helloworld.log 
helloworld

我们可以看到,helloworld.log 文件被正确的创建,说明脚本文件被正确地执行。

结束语

Puppet 是基于 Ruby 的开源系统配置和管理工具,它提供的独特的系统配置语言极大程度地简化了系统管理员管理和配置系统的过程。本文首先介绍了 Puppet 的系统架构和工作流程,并且介绍了 Puppet 独特的系统配置语言,之后我们简单介绍了安装和配置 Puppet 的具体步骤。最后,本文以两个实例介绍了如何在 Puppet 中为节点编写配置文件,来达到创建文件和执行命令的效果。希望本文能对系统管理员,Puppet 初学者有所帮助。

参考资料

学习

  • 参考 Puppet Project 首页,了解更多详细的内容。
  • 参考 Puppet 源码,查看 Puppet 开源版本的源码,并且贡献你的代码。

Puppet 学习系列:

Puppet 学习一:安装及简单实例应用 http://www.linuxidc.com/Linux/2013-08/88710.htm

Puppet 学习二: 简单模块配置和应用 http://www.linuxidc.com/Linux/2013-08/88711.htm

相关阅读:

有关 Puppet agent 端三种备份恢复方案探讨研究 http://www.linuxidc.com/Linux/2013-07/87885.htm
选择更安全的方式注册你的 Puppet 节点 http://www.linuxidc.com/Linux/2013-07/87884.htm
通过配置 SSH 深刻理解 Puppet 的语法及工作机制 http://www.linuxidc.com/Linux/2013-07/87882.htm
Puppet 利用 Nginx 多端口实现负载均衡 http://www.linuxidc.com/Linux/2013-02/79794.htm
CentOS(5 和 6)下 Puppet 的 C / S 模式实例 http://www.linuxidc.com/Linux/2011-12/50502.htm

Puppet 的详细介绍 :请点这里
Puppet 的下载地址 :请点这里

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-12/137785.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计6031字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7961303
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
【1024程序员】我劝你赶紧去免费领一个AWS、华为云等的主机

【1024程序员】我劝你赶紧去免费领一个AWS、华为云等的主机

【1024 程序员】我劝你赶紧去免费领一个 AWS、华为云等的主机 每年 10 月 24 日,程序员们都会迎来...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...