阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Twitter Storm: 在生产集群上运行topology

384次阅读
没有评论

共计 2262 个字符,预计需要花费 6 分钟才能阅读完成。

在生产集群上运行 topology 跟本地模式差不多。下面是步骤:

1)定义 topology(如果是 java 的话,用 TopologyBuilder)

2) 使用 StormSubmitter 来把 topology 提交到集群。StormSubmitter 的参数有:topology 的名字,topology 的配置对象,以及 topology 本身。

比如:

1
2
3
4
5
Config conf = new Config();
conf.setNumWorkers(20);
conf.setMaxSpoutPending(5000);
StormSubmitter.submitTopology("name",
conf, topology);

3) 创建一个包含你的程序代码以及你代码所依赖的依赖包的 jar 包(有关 storm 的 jar 包不用包括,这些 jar 包会在工作节点上自动被添加到 classpath 里面去)。如果你使用 maven, 那么插件:Maven Assembly Plugin 可以帮你打包,只要把下面的配置加入你的 pom.xml。

01
02
03
04
05
06
07
08
09
10
11
12
13
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.path.to.main.Class</mainClass>
</manifest>
</archive>
</configuration>
</plugin>

然后运行 mvn assembly:assembly 就可以打包了. 再说一下,不用包括 storm 相关的 jar 包,它们会自动加到 classpath 里面。

4)用 storm 客户端去提交 jar 包:

1
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

storm jar 会把代码提交到集群并且配置 StormSubmitter 类以让它和正确的集群进行通信。在这个例子里面,上传 jar 包之后 storm jar 命令会调用 org.me.MyTopology 的 main 函数,参数是 arg1, arg2, arg3。关于如何配置你的 storm 客户端去和 storm 集群进行通信可以看下配置 storm 开发环境。

常见配置

有很多 topology 级的配置可以设。这里有关于所有配置的清单,以”TOPOLOGY”打头的配置是 topology 级别的配置,可以覆盖全局级别的配置。下面是一些比较常见的:

1)Config.TOPOLOGY_WORKERS: 这个设置用多少个工作进程来执行这个 topology。比如,如果你把它设置成 25,那么集群里面一共会有 25 个 java 进程来执行这个 topology 的所有 task。如果你的这个 topology 里面所有组件加起来一共有 150 的并行度,那么每个进程里面会有 6 个线程(150 / 25 = 6)。

2)Config.TOPOLOGY_ACKERS: 这个配置设置 acker 线程的数目。Ackers 是 Storm 的可靠性 API 的一部分,关于 storm 的可靠性 API 可以看下:Twitter Storm 如何保证消息不丢失。

3)Config.TOPOLOGY_MAX_SPOUT_PENDING: 这个设置一个 spout task 上面最多有多少个没有处理的 tuple(没有 ack/failed)回复,我们推荐你设置这个配置,以防止 tuple 队列爆掉。

4)Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS: 这个配置 storm 的 tuple 的超时时间 – 超过这个时间的 tuple 被认为处理失败了。这个设置的默认设置是 30 秒,对于大多数的 topology 都已经足够了。关于 storm 的可靠性 API 可以看看 Twitter Storm 如何保证消息不丢失。

5)Config.TOPOLOGY_SERIALIZATIONS: 为了在你的 tuple 里面使用自定义类型,你可以用这个配置注册自定义 serializer。

终止一个 topology

要终止一个 topology, 执行:

 
1
storm kill {stormname}

其中 {stormname} 是提交 topology 给 storm 集群的时候指定的名字。

storm 不会马上终止 topology。相反,它会先终止所有的 spout,让它们不再发射任何新的 tuple,storm 会等 Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS 秒之后才杀掉所有的工作进程。这会给 topology 足够的时间来完成所有我们执行 storm kill 命令的时候还没完成的 tuple。

更新一个运行中的 topology

为了更新一个正在运行的 topology, 唯一的选择是杀掉正在运行的 topology 然后重新提交一个新的。一个计划中的命令是实现一个 storm swap 命令来运行时更新 topology,并且保证前后两个 topology 不会同时在运行,同时保证替换所造成的“停机”时间最少。

监控 topology

监控 topology 的最好的方法是使用 Storm UI。Storm UI 提供有关 task 里面发生的错误以及 topology 里面每个组件的吞吐量和性能方面的统计信息。同时你可以看看集群里面工作机器上面的日志。

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2262字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7963079
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

  300 元就能买到的 ” 小钢炮 ”?惠普 7L 四盘位小主机解析 最近...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板 前言 大家好,我是星哥。星哥发现很多新手刚接触服务器时,都会被“选购...
12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换...
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级 大家好,我是星哥,之前写了一篇文章 自己手撸一...